作者:
目前KOA的诊断主要依靠患者的临床症状和影像学检查,如X线摄影、CT、MRI等,进一步的检查方法还有关节镜,其中MRI检查因其良好的软组织显示能力在早期诊断中应用最多,但这些检查方法都有一定局限性。深度学习(deep learning,DL)是一种先进的机器学习方法,已用于图像分析、生物信息学和自然语言处理等领域。其中卷积神经网络(convolutional neural network,CNN)是一种具有代表性的DL模型,作为人工神经网络在图像处理方面的高级迭代版,它可以自动识别图像特征,无需任何人工监督。
由于其具有鲁棒性、复杂度低、易于训练、学习参数少等优点,近年在各个领域得到广泛研究和应用,尤其在计算机视觉和医学影像分析领域。KOK等研究表明CNN模型在KOA的诊断准确率上,可以达到甚至超过影像学诊断医师的水平。本文对基于MRI的CNN在KOA诊断及病情评估中的应用进展综述如下。
1. 基于MRI 的CNN 在KOA 诊断中的应用
KOA是由全身或局部的多个因素共同导致,如营养状况、代谢、应力、创伤、负荷等,受累结构的表现主要包括软骨和半月板丢失、关节间隙变窄以及骨赘形成等软骨下骨改变。基于上述这些结构变化的无创影像学检查被广泛应用于KOA的临床诊断。但关节软骨、半月板等解剖结构细微,结果容易受观察者主观因素影响,而且对于早期细微损伤的评估,手动测量往往不够精确、相对耗时,难以提供软骨厚度、体积等客观的量化数值。
由于MRI图像可对KOA损伤进行多维度、多参数显示,使得基于MRI的CNN在KOA早期诊断和预测中备受研究者关注。CNN 使用的原始医学影像学数据通常需要经过预处理,以提高图像质量和分析效果。常见的预处理步骤包括噪声去除、图像增强、图像归一化等。CNN通常由多个卷积层、池化层和全连接层组成,每一层都对输入数据进行不同程度变换和抽象,使得网络能够逐步从低级特征(如边缘、纹理)到高级特征(如形状、对象)进行提取和理解。利用CNN模型可以对膝关节图像进行分析,检测出KOA的影像征象。
SCHWARTZ等研究结果显示CNN组与外科医生诊断KOA的组内相关系数为0. 685,说明CNN模型对KOA的诊断接近临床医师。KIM等使用迁移学习模型在卷积层训练后,对KOA的诊断准确率最终可达97. 5%。还有研究利用软骨和半月板变性以及软骨下骨和骨小梁的变形预测KOA的发生。CNN在KOA早期诊断中识别到的损伤部位主要有软骨、软骨下骨、半月板、韧带等多种关节内及周围结构。
1. 1 基于MRI的CNN对软骨损伤的识别
KOA进展的关键指标之一是关节软骨(包括股骨软骨、胫骨软骨和髌骨软骨)的形态,软骨的三维形态和定性评估在KOA发生的预测中具有重要作用。CNN 在软骨成像和定量分析中的应用是KOA诊断中最重要的任务。在多项研究中发现基于MRI图像的CNN模型可以对膝关节软骨的形态进行识别。SI等使用2D U-Net从MRI图像中分割出膝关节组成骨及其对应的软骨,自动软骨分割模型的有效计算速度为5 s,分割软骨可获得14个解剖区域的软骨厚度,极大地方便了微小损伤的定位,软骨间室戴斯相似系数(dice similarity coefficient,DSC)为0. 76~0. 87。
NORMAN 等的研究也获得了相似结果。WIRTH等使用2D U-Net仅对胫骨和股骨的软骨进行形态分析,以测试软骨纵向测量的可重复性,同时发现MRI冠状位FLASH和矢状位DESS 图像的DSC 均较高。EBRAHIMKHANI 等从MRI图像中识别软骨厚度以评估早期KOA的软骨损失率。杨贵昌等研究也表明,基于多激活CNN自动学习模型对KOA软骨损伤患者的总诊断效能及分级诊断效能均较高,尤其在Ⅰ、Ⅱ级膝关节软骨损伤诊断中具有明显优势。基于MRI图像的CNN模型不仅可以将关节软骨可视化,也可以变换不同MRI序列对软骨体积、厚度和生化变化等进行定量分析,还可以在三维视图中分析膝关节,更直观地显示关节的三维结构。
大多数3D CNN在KOA应用中使用的MRI图像序列为3D-DESS MRI体积。“U-Net”是用于膝关节软骨分割的第一个完全开发的3D CNN,该网络结构受到U-Net的启发,实现了软骨和半月板的多类分割,比2D图像具有更好的显示性能,尤其是在早期KOA诊断方面具有更高的灵敏度和特异度。3D CNN模型的进一步开发还需要解决目前有限的图形处理器(graphics processing unit,GPU)内存和计算性能。
1. 2 基于MRI的CNN对骨损伤的识别
KOA 骨损伤的发生往往是在覆盖其上的关节软骨损伤之后,表现为骨髓
ZHOU等通过在3D快速自旋回波(3D-fse)MRI 图像数据集上结合3D 条件随机场(CRF)扩展了LIU等的2D SegNet模型,以确保体素的准确标记。在对骨损伤的识别中,GUAN等同时训练了两个CNN模型(VGG16、DenseNet),并在非图像数据上用支持向量机(SVM)比较了它们预测KOA的可行性,联合SVM和CNN模型的AUC最高,为0. 832,其次是单独使用CNN 模型(AUC>0. 7)。这种结合不同图像分类方法以提高结果准确性和效率的模式,给未来优化算法参数和模型结构提供了新的研究思路。
1. 3 基于MRI的CNN对半月板损伤的识别
CNN 模型可以对膝关节MRI 图像中半月板进行识别和分析,辨别半月板形态和损伤位置。训练后的CNN模型能够实现对半月板撕裂、变形等病变的高精度检测。如蒋可欣等基于自动分割半月板MRI图像构建的3D CNN KOA预测模型,较临床症状或MRI半定量评分能更好地预测KOA的发生。SHIN等使用基于MRI图像的CNN模型检测半月板撕裂及撕裂类型,AUC 最高可达0. 924。
BYRA等采用自动半月板分割技术来评估半月板松弛度,该模型基于U-Net架构,使用3D超短回波时间(UTE)锥序列作为输入进行迁移学习,并利用自我注意机制提高了分割性能。考虑到U-Net的性能受到预定义损失函数的限制,GAJ等联合了两个DL网络来修正目标函数,并尝试将条件生成对抗网络(CGAN)模型整合到U-Net中,结果在3D-DESS图像上显示半月板形态良好,DSC 为0. 84~0. 91。由此可以看出,多个DL模型的堆叠使用或可优化计算时间、获得更高精度的图像分析。
1. 4 基于MRI的CNN对关节间隙改变的识别
关节间隙狭窄是KOA关节软骨和半月板损伤造成的继发改变,也可因滑膜腔积液而导致关节间隙增宽。大多数CNN对于解剖结构的识别都是基于U-Net架构,这是一个由编码器和解码器组成的对称网络,首先通过卷积降采样学习编码,然后通过“反卷积”上采样解码成代表图像中感兴趣对象的分割掩码。
评价此类模型性能的指标有Jaccard相似系数、DSC和马修斯相关系数,其中DSC常用来评估模型预测输出图像与人工标注或ground truth 像素(真实值)之间的相似性。NORMAN等利用2D编码器—解码器U-Net模型将膝关节分成6个亚室,该模型具有较强的DSC,尤其是在3D-DESS图像集上,KOA的膝关节亚室DSC为0. 753~0. 878。GUAN等基于膝关节内侧关节间隙丢失(内侧间室承担着膝关节主要负荷)的进展开发了一个KOA预测模型,该模型是DenseNet和YOLO两种模型的组合,获得了更高的AUC。以往将膝关节腔分成内侧间室、外侧间室、髌股关节间室,CNN的介入在膝关节亚室的轮廓勾画和数量区分上都更为精细。
1. 5 基于MRI 的CNN 对韧带损伤及其他损伤的识别
KOA还会造成关节韧带及周围组织的损伤,这部分的CNN模型研究相对较少。FLANNERY等提出的模型与手动勾画相比可以更快地识别前交叉韧带(anterior cruciate ligament,ACL),直接评估韧带功能,并且可靠性更高。AWAN等采用全自动化改良U-Net CNN方法对ACL撕裂进行分类,指出该分类模型有望用于预测KOA。ZHANG等研究表明,三维密集连接卷积网络(three-dimensional densely connected convolutional networks, 3DDenseNet)复杂度低,抗过拟合性能优异,优于VGG16和残差网络,且3D CNN对ACL损伤的诊断效能良好,表明结合不同的技术以提高CNN的性能是可行的。
除了韧带的相关研究外,郑田田等以髌骨关节摩擦音为数据源,提出了一种基于CNN的KOA早期筛查方法,其准确率、灵敏度、特异度分别为86. 2%、88. 20%、83. 3%。CHANG 等基于MRI图像将CNN应用于评估膝关节疼痛的原因,AUC为0. 808。PIERSON等利用CNN提出了一种基于膝关节X线摄影图像的疼痛预测算法,以纠正人为因素导致的治疗决策不当。除了以上提到的软骨、骨骼、半月板、韧带损伤,CNN还有望应用于KOA造成的滑膜炎症及炎性脂肪垫等领域。
2. 基于MRI 的CNN 在KOA 病情评估中的应用
目前,临床上常用Kellgren-Lawrence(K-L)分级系统对KOA 进行病情评估,分为关节炎发生前期(Ⅰ期)、骨关节炎早期(Ⅱ期)、骨关节炎进展期(Ⅲ期)、骨关节炎晚期(Ⅳ期),该分级主要基于膝关节X线摄影图像特征。K-L分级简便易行,临床普遍使用。通过膝关节X线摄影很容易显示KOA最显著的特征,如关节间隙狭窄、骨质增生和骨赘形成,其中关节间隙狭窄在根据K-L分级来判断KOA 严重程度方面发挥着重要作用,但它的出现是继关节软骨和半月板损伤之后,病情已到中晚期。而且K-L分级依赖于阅片者的主观解读,对KOA病情评估可能造成一定程度的不确定性。
有研究提出基于MRI图像进行膝关节组织测定和量化可为KOA高风险人群及患者预后提供更可靠的依据。基于MRI图像进行病情评估的DL模型的开发,将最大限度地提高临床实践中个性化风险评估的效能,从而实现精准医疗。CHEN 等提出了两种基于CNN 的KOA 诊断分级模型,也有研究使用CNN VGG16提取影像学特征,并应用非CNN 的长短期记忆(LSTM)对KOA严重程度进行评估。其中LSTM是一种循环神经网络,具有更好的精度和相对更短的计算时间。
CNN技术在KOA风险预测和病情评估中的良好性能主要在于它节省了时间,精度和准确度更高,未来可能会趋于大型数据集的前瞻性研究,以适应临床不同成像硬件的需求。基于MRI图像对KOA病情程度的评估主要包括潜在的KOA、疼痛等临床症状的功能期、出现结构异常而确诊的器质期、出现进行性疼痛和结构变化的进展期以及需要关节置换的终末期。TIULPIN等利用ImageNet预训练模型开发了一个CNN多分类模型,用于预测KOA的病情进展,该研究将DL模型与患者年龄、性别、BMI和K-L分级等信息作为输入变量的Logistic回归进行比较,DL模型的AUC为0. 71,优于Logistic 回归模型。
TOLPADI 等引入3D DenseNet,根据MRI 图像对KOA 严重程度进行评估,这是一项将3D CNN应用于KOA病情评估的研究,这项研究还表明在3D MRI模型中图像输入的性能优于2D。PEDOIA等则先使用2D U-Net模型对半月板和软骨进行自动提取,然后输入3D CNN病变严重程度分类器,通过CNN检测半月板和软骨病变的损伤来确定KOA的严重程度。与目前广泛应用于临床的K-L分级相比,基于MRI的分级或分类评估还缺乏共识。但就目前CNN在全自动分割MRI图像、可视化分析和定量计算与KOA相关的成像指标来看,CNN模型可以作为临床实践和基础研究中放射科医师和骨科医师的辅助工具。
综上所述,2D和3D CNN方法在KOA领域被广泛研究,是KOA计算机辅助诊断和病情评估的一种有前景的工具。结合MRI的多参数显示和CNN的人工智能优势可以更精确、更早期地预测KOA,辅助临床进行个性化决策。诸多研究表明人工智能在KOA诊断和病情评估中均表现出良好的性能,接下来的挑战是如何将其广泛应用于临床。
现有的研究中往往使用了不同类型的图像序列,使得结果之间不能直接比较;缺乏标准的数据库,不同的数据库可能会影响模型的准确性。因此,提倡建立公共数据库,各独立数据集的图像尽可能遵守一致的纳入规则,确保模型的普遍适用性,以方便未来不同模型的训练和最优化比较。未来应致力于将此类预测模型整合到开放获取中,以便在KOA早期进行管理干预,从而预防或延缓KOA的不良结局。
来源:刘静妮,许长栋,陈彬,等.基于MRI的卷积神经网络在膝骨关节炎诊断和病情评估中的应用进展[J].医学影像学杂志,2025,35(06):158-162.DOI:10.20258/j.cnki.1006-9011.2025.06.034.