深度学习在慢性鼻窦炎影像中的研究现状与进展
2024-06-17 来源:临床放射学杂志

作者:沈哲凡,吴晟,马志祺,丁忠祥,李勇,浙江大学医学院附属杭州市第一人民医院

 

慢性鼻窦炎作为一种世界范围内的常见病,在中国发生率约为8%,美国约2.1%~13.8%,欧洲约6.9%~27.1%。慢性鼻窦炎导致的鼻部症状、睡眠质量下降、疲劳感等严重影响患者的生活质量,也给社会和经济带来沉重负担。影像检查是临床诊断慢性鼻窦炎的主要手段之一,并在病情评估、鉴别诊断、发现并发症、精准治疗及疗效评价中发挥重要作用。

 

CT可以发现增加手术并发症风险的鼻窦解剖学变异,对于手术寻找解剖参考标志和安全实施手术有重要临床价值,MRI则对发现眼部、颅内并发症及鉴别诊断有意义。临床常用的Lund-MacKay评分以及评估鼻窦骨质变化的鼻窦整体骨炎评分系统(globalosteitis scoring scale,GOSS)均需要CT检查的帮助。

 

然而影像报告与临床诊疗关注内容明显不一致,不同放射科医师的报告之间差异显著。且目前的评分系统只能做到半定量评估,术前详细评估需要耗费大量时间。因此,客观快速的自动定量评估系统有待开发。针对影像检查数据庞大,图像复杂,诊断受主观性影响大等特点,人工智能(artificial intelligence,AI)进入医学影像领域,用于提高数据处理效率并逐步实现自动化、标准化。随着近年深度学习的兴起,AI为医学影像及临床服务的潜力得到进一步展现,并已经在图像分割、疾病诊断及预后评估等方面取得一定成果。本文将根据深度学习在鼻窦炎影像的研究现状,展示其在图像自动分割以及慢性鼻窦炎诊断、分型及评估等方面的临床应用前景。

 

1.深度学习概述

 

深度学习是经典机器学习中人工神经网络(artificial neural network,ANN)的进一步发展,主要包括卷积神经网络(convolutional neural network,CNN)、递归神经网络(recursive neural network,RNN)及长短期记忆(long short-term memory,LSTM)等。ANN是对人脑或自然神经网络若干基本特性的抽象和模拟,由输入层、隐藏层及输出层组成,CNN在ANN基础上增加了多个隐藏层,得到更高级的特征提取和数据抽象。

 

深度学习和经典机器学习的主要区别在于,后者由专家选择最能代表视觉数据的图像特征;而在深度学习中,不需要特征选择,由深度学习算法自己学习哪些特征最适合计算任务。

 

2.深度学习在鼻窦CT图像分割中的应用

 

鼻窦是复杂的解剖结构,具有高度可变的形态和大小,其形态及体积数据可用于诊断、手术规划和模拟,因此有必要对鼻窦进行分割。半自动分割是目前最常用的分割方法,需要手动设定灰度阈值或选择感兴趣区放置种子点,耗时较长。深度学习可以实现鼻窦的自动分割。Souadih等较早采用深度学习算法自动分割蝶窦,其Dice相似性系数(DSC)与应用ITK-SNAP半自动分割的DSC接近。

 

Xu等联合VGGNet与V-Net在CT冠状位二维图像中分割上颌窦,最后进行三维重建,结果显示DSC达到0.94,交并比(IoU)为(90.05±3.26)%,精度为(94.72±2.64)%。当鼻窦中存在脓液、骨质破坏以及Onodi气房等病变时,其边界无法清晰显示,分割存在困难。因此,Qi等提出了一种基于CNN的自适应区域定位水平集方法,可以用于病变上颌窦的分割。

 

与快速水平集(fast level set,FLS)和条件随机场—全卷积网络(conditional random field-fully convolutional network,CRF-FCN)的方法相比,DSC平均分别提高0.25和0.12,获得了显著的改进。Iwamoto等将概率图谱用于自动定位上颌窦并确定其边界框,训练全卷积网络(fullyconvolutionalnetwork,FCN)在边界框中自动分割鼻窦。该方法即使在有病变存在、边界不明确的情况下,DSC也可达0.83。

 

Jung等则基于CBCT数据,利用深度主动学习将上颌窦自动分割为上颌骨、空气及病变,这项研究表明主动学习可以改善模型的性能,提高有限数据下的训练效率以及减少标记工作量。目前,深度学习算法常与其他机器学习算法联合应用于鼻窦自动分割,以获得更高精度的分割结果。尽管当前研究在鼻窦CT图像分割中已取得了不错效果,但鼻窦病变仍对分割效果存在影响,且未见关于鼻窦MRI图像分割的报道。

 

3.深度学习在鼻窦炎影像学研究中的应用

 

3.1深度学习对X线片中上颌窦炎的自动诊断

 

在X线平片中,鼻窦常常与其他颅面骨重叠,导致诊断假阴性率较高。为解决此问题,Kim等训练ResNet模型在瓦氏位X线片对上颌窦炎进行诊断,在时间验证集和地点验证集上的曲线下面积(AUC)分别为0.93和0.88,显著高于放射科医师。Kim等分别训练VGG-16,VGG-19及ResNet-101等多种模型对瓦氏位X线片进行分类,最后采用多数决策算法诊断,结果显示验证集准确率为94.12%,AUC为0.942。

 

Jeon等采用多视图CNN,融合来自瓦氏位和柯氏位X线片的信息进行分类,其诊断筛窦炎和上颌窦炎的AUC分别为0.78和0.88,均高于放射科医师。在牙科领域,口腔全景X线片中的上颌窦炎往往会被漏诊。为了辅助及提示诊断,Murata等训练AlexNet模型在全景X线片上诊断上颌窦炎,结果显示准确率为87.5%,AUC为0.875,诊断效能高于牙科医师。之后,该团队的学者训练DetectNet模型进行全景X线片的自动分割及诊断,并取得了较前更高的诊断准确率。以上研究均表明在传统X线片中,深度学习模型具有较高的诊断准确率,具备应用于临床、实现辅助诊断甚至自动诊断鼻窦炎的可能。

 

3.2深度学习对鼻窦炎的精准分型

 

急性鼻窦炎与慢性鼻窦炎有相似的临床症状和体征,且未治愈的急性鼻窦炎可导致慢性鼻窦炎,准确区分两者具有一定难度。在最近的会议中,Wirasati等将CNN和LSTM相结合,提出了一种一维CNN-LSTM模型对急性鼻窦炎与慢性鼻窦炎进行分类,结果显示在测试集上的准确率为98.33%,展现了深度学习算法区分鼻窦炎不同分型的潜力。

 

3.3深度学习对鼻窦周围解剖变异的自动化识别

 

鼻窦解剖学变异或异常会促进慢性鼻窦炎发病或术后复发,增加手术并发症风险,识别鼻窦周围解剖变异对于手术寻找解剖参考标志和安全实施手术有临床价值。Chowdhury等基于预训练模型Inception-V3,通过迁移学习对鼻窦CT冠状位图像中的窦口鼻道复合体是否闭塞进行分类,最终在验证集中准确率为78%~92%,AUC为0.87,得到了不错的分类效果。

 

Huang等与Parmar等同样选择了Inception-V3模型,分别用于自动识别筛前动脉位置与中鼻甲气化,两者AUC分别为0.86与0.93。上述研究均选择了Inception结构,它的特点在于参数、内存和计算资源相比于传统网络较小,在训练数据集有限时不易产生过拟合,且可以在内存和计算能力有限的环境下处理数据,适用于上述研究的数据集及计算力情况。

 

深度学习算法对于解剖变异的识别有助于弥补现有影像报告的不足,对术前评估及手术选择提供帮助。

 

3.4深度学习对慢性鼻窦炎严重程度及治疗效果的自动评估

 

对慢性鼻窦炎的疾病严重程度和治疗效果进行精确、客观的评估是一个公认的需要。Lund-MacKay评分是目前最常用的CT评估标准,提供了一种与疾病严重程度相关的半定量视觉评分,但其需要人工打分且无法真正定量评估。Humphries等在基于CNN的全自动鼻窦分割的前提下,提出了一种全鼻窦混浊评分,即在-500HU~+200HU之间的CT像素占分割体积的百分比,研究表明,自动混浊评分与Lund-MacKay平均总评分之间的相关性很高[rho=0.82(95%CI0.79,0.85),P<0.0001],并且与慢性鼻窦炎、哮喘诊断以及肺功能和血液生物标志物相关。

 

这表明自动混浊评分有潜力取代Lund-MacKay评分用于评估慢性鼻窦炎严重程度,为临床提供指导。此外,已有多项研究表明,CT容积性混浊评分与鼻部症状之间存在相关性,且对治疗效果敏感。因此,Beswick等基于CNN算法来识别囊性纤维化(cystic fibrosis,CF)患者在CF跨膜传导调节剂(CFTR)治疗开始前后的鼻窦混沌变化,并将鼻窦混浊体积改变应用于评估CFTR在CF患者中的疗效。当该方法在除CF外的慢性鼻窦炎亚型中得到验证时,将会在疗效评估中发挥巨大价值。

 

3.5人工智能在鼻窦MRI中的应用

 

MRI在鼻窦炎的分型、并发症,嗅觉缺失评估以及颅底、鼻前庭等特定解剖区域方面具有独特的优势。目前,人工智能在MRI中的应用多聚焦于鼻咽癌等肿瘤性病变,对鼻窦炎研究较少且局限于影像组学研究,例如胡欢欢等基于MRI图像纹理分析预测慢性鼻-鼻窦炎筛骨组织病理分级,提出熵、逆差矩及对比度可能作为评估慢性鼻-鼻窦炎骨炎的一种影像学参数。关于深度学习在鼻窦炎MRI影像中的应用笔者尚未见到报道,这可能是由于鼻窦炎MRI影像数据相对较少,且图像质量与标准不一。总的来说,深度学习在鼻窦炎影像中的应用多是分类与分割研究。

 

鼻窦影像分类常用的CNN模型主要有AlexNet、VGGNet、ResNet以及InceptionV1-V3等。AlexNet因其参数较少且复杂度较低,在数据量较少时不易出现过拟合,因此在医学图像中最早应用。VGGNet、ResNet以及InceptionV1-V3等模型在AlexNet之后提出,分类效果好但参数量较大,易出现过拟合。目前,慢性鼻窦炎影像研究多采用迁移学习来解决此问题,并取得了不错的效果。在基于CNN的医学图像分割中,常用的模型有FCN、U-Net、Deeplab和PSPNet等。

 

U-Net及其各种变体凭借其U型结构及参数少的特点,在鼻窦自动分割和其他医学图像分割中优势明显。但是无论是分类还是分割研究,传统CNN多应用于二维图像,而鼻窦炎临床最常用的CT检查为三维数据,适用于鼻窦影像的3DCNN研究较少,有待进一步开发。

 

4.问题与展望

 

尽管深度学习在鼻窦自动分割以及慢性鼻窦炎诊断、分型及评估等方面取得了良好的发展和应用,但是也存在一些局限性:

 

(1)目前大多数研究为单中心研究,且没有大型鼻窦影像公共数据库。训练更精确的深度学习模型需要多中心数据或公共数据库作为支撑。在多中心信息获取困难时,联邦学习可以为多中心研究提供帮助;

 

(2)鼻窦图像自动分割尚不完善。首先,大多数自动分割仅局限于上颌窦,且在鼻窦边界不清时自动分割仍存在困难。其次,目前分类研究中的输入图像大多采用半自动分割获得,使得深度学习模型难以真正应用于临床。因此,下一阶段需要在CT和MRI图像中实现各个鼻窦与病变的单独自动分割,并以自动分割为前提训练诊断、预测模型;

 

(3)目前研究中所训练的分类网络诊断效能较高,但对病灶的定位能力较差,难以学习到独立特征。在研究中模拟放射科医师的诊断流程,也许能在提高准确率的同时帮助放射科医师更好地理解深度学习模型。此外,目前的研究多基于X线平片或二维CT图像,对临床价值有限,且对慢性鼻窦炎亚型分类的研究未见报道。在深度学习模型中输入鼻窦CT、MRI三维图像,诊断慢性鼻窦炎亚型是未来的发展方向之一;

 

(4)目前CT容积性评分主要依靠人工或半自动分割,费时费力,难以在临床实践。下一阶段应该在鼻窦自动分割的基础上,实现自动化CT容积性评分。此外,传统的影像报告对术前评估所需的解剖变异或异常关注较少,而完整的结构式报告需要耗费大量时间。

 

目前已有研究应用深度学习算法自动识别中鼻甲气化、筛前动脉位置等解剖变异,但这些研究之间相互独立,对术前评估帮助有限。下一步需要应用深度学习算法对鼻窦周围解剖结构进行自动化整体结构化评估。

 

综上所述,深度学习为慢性鼻窦炎诊断、治疗方案选择、疗效评估等提供了更多选择,必将推动慢性鼻窦炎精准医疗的进一步发展。

 

来源:沈哲凡,吴晟,马志祺等.深度学习在慢性鼻窦炎影像中的研究现状与进展[J].临床放射学杂志,2023,42(05):886-889.


(本网站所有内容,凡注明来源为“医脉通”,版权均归医脉通所有,未经授权,任何媒体、网站或个人不得转载,否则将追究法律责任,授权转载时须注明“来源:医脉通”。本网注明来源为其他媒体的内容为转载,转载仅作观点分享,版权归原作者所有,如有侵犯版权,请及时联系我们。)

0
收藏 分享