作者：石晟铭，马佳琪，刘晗，武玉鹏，李晓夫，哈尔滨医科大学附属第二医院
但是仅依靠常规MRI的形态学特征仍不足以反映肿瘤的异质性特征，无法制订个体化治疗策略，而如弥散加权成像（diffusion weighted imaging，DWI），体素内不相干运动（intravoxel incoherent motion，IVIM）和弥散峰度成像（diffusion kurtosis imaging，DKI）等功能MRI虽能在一定程度上反映病变内的生物病理信息，但其可重复性和可再现性还有待进一步提高。因此，开发一种图像挖掘的新方法，以实现RC的准确诊断和治疗是一个巨大的挑战。
近年来，随着人工智能（artificial intelligence，AI）技术的迅速发展，以深度学习（deep learning，DL）为代表的机器学习越来越多地应用于医学领域，DL可以对大量的RC图像进行深度挖掘和分析，并将其与临床结果结合，从而提高对RC的诊断准确性和效率。
利用DL技术对RC进行术前诊断具有重要的临床意义。然而，目前尚未有系统的研究综合评估DL技术在RC预测方面的应用，因此我们对预测模型的整体效果尚不清楚。本文从评估RC分期、治疗反应、RC分割和基因分型四个方面入手，总结了基于MRI的DL在RC研究方面的进展，旨在优化RC患者的诊疗策略制订，并对未来的科研方向提出展望。
1. DL的简介及发展
DL是机器学习的一种，最早由机器学习大师HINTON等在2006年提出。DL的本质是构建含有多隐层的机器学习架构模型，通过大规模数据进行训练，得到大量具有代表性的特征信息，从而对样本进行分类和预测。其工作流程一般可以分为三个阶段：（1）图像数据的预处理；（2）模型训练、验证和测试；（3）模型评估。其中图像数据预处理是DL的核心工作，包括降噪、数据归一化、特征选择和提取。
良好的模型其稳定性更好，采用多中心测试集，其目的是评估模型的泛化能力，有助于模型的推广。为了训练模型，通常将模型分为三个部分：训练集，验证集和测试集。训练集能够使模型学习拟合分类器的数据参数，验证集用于防止过拟合，而测试集用于评估模型的性能。最后模型评估用来确定该模型是否可以很好地实现研究目标。
目前DL的发展较为迅速，已在语音识别、人脸识别、图像分类等方面取得显著进展。自2015年以来，人们发现使用基于医学成像技术的AI模型可通过增强目视能力以达到比放射科医生更低的错误率。
与传统的机器学习技术不同，DL不需要操作人员手动提取和选择特征，其可以直接处理原始数据并自动识别自己所需要的特征。在算法应用方面，目前几种典型的DL算法主要包括卷积神经网络（convolutional neural networks，CNN）、循环神经网络（recurrent neural network，RNN）、生成对抗网络（generative adversarial network，GAN）和深度强化学习（deep reinforcement learning，DRL）。
2. 基于MRI的DL在RC术前TNM分期中的应用
MRI因具有良好的软组织分辨率及较高的空间分辨率，目前已经成为术前RC分期评估的重要影像检查方式。随着影像学技术的不断进步，RC术前诊断的准确性大大提高。但不同医院的放射科医生诊断水平不同，会导致MRI图像的结果判读受到影响。
近年来，DL技术在图像阅读方面的发展为此提供了新的解决方法。WU等使用基于区域的快速卷积神经网络（faster region-based convolutional neural networks，Faster R-CNN）来构建RC的T分期自动诊断平台。该平台在每个扫描平面的每个阶段都展现出良好的性能，受试者工作特性（receiver operator characteristic，ROC）曲线下面积（area under the curve，AUC）在水平面为0.99，矢状面为0.97，冠状面为0.98。
Faster R-CNN的诊断平台在RC的T分期诊断方面达到了专业放射科医生的水准，但是该研究仅将模型应用于T2WI序列，添加其他序列是否可以提高DL模型的分类精度，有待进一步研究。在一项回顾性研究中，WEI等构建基于多参数（DCE、T2WI和DWI）卷积神经网络的DL模型，并与单参数DL模型、临床模型和放射科医师诊断模型进行对照。最终多参数模型的AUC为0.854，显著高于放射科医师诊断模型（AUC为0.678）、临床模型（AUC为0.747）和单参数DL模型，包括T2WI模型（AUC为0.735）、DWI模型（AUC为0.759）和DCE模型（AUC为0.789）。
淋巴结转移（lymph node metastasis，LNM）的预测及评估一直以来都是研究热点。常规MRI形态学：如淋巴结的大小、形状和边缘，均不足以对LNM做出准确诊断。为预测T1～T2期RC患者的LNM，WAN等建立了基于T2WI图像的四个二维和三维的残差网络（Res Net 18，Res Net 50，Res Net101和Res Net 152）DL模型，并进行训练和测试，以识别LNM。研究表明，基于3D网络架构的Res Net101模型在预测LNM方面展现出最佳性能（AUC为0.79），显著高于放射医师（AUC为0.54），该模型在预测T1～T2期RC患者的LNM方面优于放射科医生。
从上述几项研究中可以看出，基于不同感兴趣区（region of interest，ROI）和不同MRI序列的AI在评估RC患者的T分期方面表现出了良好的性能，有望成为术前T分期的重要工具之一。然而，这些研究中的MRI图像都是在单中心的3.0 T MRI扫描设备上获取的，这可能限制了模型的推广性。
3. 基于MRI的DL在评估新辅助治疗疗效方面的进展
新辅助治疗（neoadjuvant therapy，NAT）是局部晚期直肠癌（locally advanced rectal cancer，LARC）患者标准治疗的必要组成部分，用于降低原发肿瘤的分期和手术切除后局部复发的风险，并可改善预后。随着不同NAT方案的应用，大约10%～30%的LARC患者可能出现病理完全缓解（pathologic complete response，p CR），临床、内镜和放射学建议对上述患者实行观察和等待策略，以避免手术切除带来的不良并发症影响。
FU等从患者的高分辨率T2WI和DWI图像中提取放射组学特征，开发了基于机器学习和DL的放射组学模型，并将它们与临床特征相结合，用于预测肿瘤残留。结果显示，临床+DWI+DL模型的预测效果最好（准确度84%±5%，敏感度94%±13%，特异度79%±4%）。这种方法可以作为一种术前评估工具，以协助临床医生在术前阶段对RC患者进行病情评估并制订精确的个性化治疗计划。
在一项预测RC远处转移（distant metastasis，DM）的研究中，LIU回顾收集了235例接受新辅助放化疗（neoadjuvant chemoradiotherapy，n CRT）的患者，通过迁移学习，构建了基于多参数MRI的DL放射组学模型。将深部MRI信息与临床病理因素结合起来构建列线图，以获得更好的预测结果。
在验证集中，C指数为0.747，3年时远处无转移生存期的AUC为0.894，这表明DL放射组学模型在预测DM方面表现良好，显示其在预测接受n CRT的LARC患者的DM方面具有很大的潜力。在一项多中心研究中，JIANG等收集了三个独立的患者队列，使用Vi T技术来构建DL模型用于预测NAT后RC患者的生存率，在内部测试集的高风险组中最佳模型的风险比为3.0，在外部测试集中为2.3，并且构建多模态模型进一步提高了模型性能。结果表明，该模型能够预测RC患者的生存率，并可作为术前风险分层工具。
预测NAT后LARC患者的p CR已成为当下研究的热点，JANG等基于放化疗后的T2WI图像，开发了两个DL模型，分别用于预测p CR和完全缓解（complete response，CR）。在测试集中评估DL模型的预测性能，并与高年资放射科医生和放射肿瘤科医生的预测结果进行比较。结果显示该模型预测p CR的AUC、敏感度、特异度、阳性预测值、阴性预测值和准确度分别为0.76、30%、96%、67%、87%和85%，预测CR方面分别为0.72、54%、81%、60%、77%和71.7%。研究发现与观察医生相比，DL模型在预测p CR和CR方面表现出更好的性能。此外，还有很多DL模型已被开发用来预测NAT后LARC患者的p CR，并且都展现出较好的性能。
因此，可以得出结论，DL作为一种潜在的定量工具，在评估LARC患者的p CR方面具有重要的价值，它可以通过选择那些可能从辅助化疗中受益的患者，并协助临床医生选择最佳化疗方案来帮助制订个体化的治疗策略。然而上述几项研究的ROI都是手动勾画的，这很大程度上依赖于影像科医生的经验，容易造成主观上的错误，需要进一步的研究来建立一个可靠的自动分割网络。
4. 基于MRI的DL在病灶分割方面的进展
随着DL算法的兴起，其在医学图像处理领域，特别是肿瘤病灶的分割方面引起了广泛的关注。近年来，以全卷积神经网络为代表的DL已经在医学图像分割任务中取得了频繁的成功，特别是使用流行的U-Net架构。DESILVIO等根据特定区域的背景开发了一种U-Net DL模型，它可以在RC治疗后的T2WI图像中自动分割直肠外壁、内腔和直肠周围脂肪区域。
在多机构评价中发现特定区域的U-Net（肠壁骰子相似度系数为0.920，肠腔骰子相似度系数为0.895）与多名放射科医生（肠壁骰子相似度系数为0.946，肠腔骰子相似度系数为0.873）在图像分割方面表现相当，并且与多类U-Net相比，此模型的性能提高了20%，该模型对于准确评估体内肿瘤范围和划分直肠结构具有重要实用价值。
由于传统的U-Net网络提取的高级特征往往不能包括足够的轮廓信息，为了进一步提高图像分割精度，LI等通过对传统U-Net网络进行改进，设计了一种新型的U-Net网络：（1）用压缩和激励网络（squeeze-and-Excitation networks，SENet）替换了编码器；（2）在最后一个编码器之后添加了一个全局池化层；（3）在每个解码器中添加了空间和通道压缩与激发注意力机制模块；（4）最后将每个解码器的输出结果连接起来。研究发现该模型能够进行准确且高效的RC分割和轮廓分割。
在一项最近的研究中，DOU等设计了一种注意力融合U-Net DL模型，该模型以多参数MRI图像为输入，通过嵌入注意力融合模块，有效地融合了多参数MRI图像的特征。试验结果显示，该模型的骰子相似度系数为0.821±0.065，是目前最先进的RC图像分割方法。
综上所述，初步的研究结果显示，基于MRI的DL在分割RC病灶方面取得了良好的成果，具有广阔的临床应用前景。然而，上述试验所提出的方法均是设计用于2D图像分割的。与之相比，MRI图像在医学实践中通常是3D图像。由于该方法可能无法正确处理没有肿瘤区域的情况，这可能导致误分割的问题。其次，由于测试集的规模相对有限，因此无法充分代表不同医疗中心和MRI设备之间的差异。未来，添加来自不同医疗中心和MRI设备的更多数据，并且开发基于3D卷积的分割模型，可能会更有意义。
5. 基于MRI的DL对于基因分型的术前无创预测研究
研究表明，在约35%～50%的RC中发现KRAS突变，这与侵袭性肿瘤生物学行为、对表皮生长因子抑制剂的耐药性和总体生存率降低相关。表皮生长因子受体抗体（如
由于原发肿瘤不同区域内的遗传异质性可能发生变化，所以开发一种无创易行的方法，通过提供实时监测的组织学评估来预测KRAS突变状态具有重要价值。SONG等提出了一种多任务注意力模型来识别RC患者中的KRAS突变，该模型主要由分割子网络和识别子网络组成。研究发现该模型对于KRAS突变识别的准确度为89.95%±1.23%，敏感度为89.29%±1.79%，特异度为90.53%±2.45%，AUC为0.9573±0.0502。结果表明，此模型在识别KRAS基因突变中表现出较好的性能。
LIU等使用Mobile Net V2架构构建了两种DL模型：（1）T2WI图像模型；（2）T2WI和临床因素的组合模型。在测试集中临床模型、T2WI图像模型和组合模型的AUC分别为0.668、0.765和0.841。结果表明，结合T2WI和临床因素的组合模型显示出最佳的诊断性能。因此，它可以作为一种补充方法，无创评估RC的KRAS突变。
同样值得注意的基因分型还有微卫星不稳定性（microsatellite instability，MSI），由于其对RC预后和治疗的重要价值而受到广泛关注。MSI是由一个或多个错配修复（mismatch repair，MMR）基因丢失导致的结果。研究显示，具有MSI的RC患者预后略优于具有微卫星稳定性（microsatellite stability，MSS）的患者，但却无法从5-
然而，标准的遗传学和免疫组织化学检测不仅耗时长，而且诊断活检通常需要特定设备，限制了其实用性。因此，苏木精和伊红染色（hematoxylin-eosin，H&E）组织切片的目视检查仍然是MSI检测的常用方法。最近，基于H&E染色组织学全切片图像的DL模型已被开发用于预测RC的MSI，KATHER等开发了第一个用于预测RC MSI状态的全自动DL模型，并展现出不错的预测能力。
ECHLE等分析了DL模型在RC H&E染色载玻片上检测MSI的应用，构建了一个新的DL模型，其与KATHER等先前开发的模型的预测性能相当。近来，陆续又有很多新模型被开发并得到验证，它们以用时更少、成本更低以及更加精准的方法预测RC MSI。然而，这些方法仍然依赖于活检或手术标本，并且不能避免瘤内异质性的影响。因此，开发一种无创、易重复的方法用于术前预测MS状态具有重要的临床意义。
针对这一问题，ZHANG等使用改进后的Mobile Net V2架构构建基于术前T2WI图像的单纯影像学模型、临床变量模型、整合临床变量和图像特征的组合模型，来无创预测MSI状态。结果显示，在测试集中，临床变量模型对MSI预测的准确度为37.5%，AUC值为0.573，单纯影像学模型和组合模型对MSI预测的准确度分别为75.0%和85.4%，AUC值分别为0.820和0.868。
两种DL模型的表现都优于临床变量模型，尤其是整合临床变量和图像特征的组合模型实现了最佳的预测性能。然而，两个DL模型间的预测性能没有显著差异，这可能与临床变量未能为模型提供重要信息有关。该研究表明，基于高分辨率T2WI图像的DL模型对预测RC患者的MSI状态具有广阔的前景。
上述研究显示，结合临床因素和T2WI的DL模型显示出良好的评价性能。因此，这可能作为一种非侵入性评估的补充方法，用于预测基因分型。然而，这两项研究都仅使用T2WI单独开发DL模型，对多参数MRI在改善DL模型诊断性能方面的价值需要进一步探讨。此外，目前在基因分型方面，基于MRI的DL技术的研究相对较少，未来可能会成为一个值得关注的研究热点。
6. 小结
DL作为一门新兴且发展迅速的技术在医学领域中的研究正不断深入。基于MRI的DL在提高RC患者分期诊断的准确性、评估治疗反应、预测复发和预后等方面已经显示出极大的潜力，具有广阔的研究前景。然而，目前的研究仍然存在诸多挑战。
第一，不同仪器扫描参数、患者个体间差异以及图像提取技术等不同均可对DL相关研究的可重复性及稳定性产生较大影响，导致最终所构建模型的可信度降低。
第二，提高模型性能是构建DL模型的一个关键问题。未来，可以结合多模态（CT、MRI、病理切片、基因组学等）和多时间（治疗前和治疗后）数据，并在临床实践中进行大规模验证，以进一步提高模型的预测能力。
第三，虽然DL中的无监督和自监督方法不需要耗时耗力的图像特征提取，但受限于复杂的医学结构、医学场景和图像质量参差不齐等因素，现有算法还不能在高精度全自动的工作流程中达到高标准的医学要求。
第四，模型的稳健性和泛化能力也是影响DL在临床应用中的重要因素。目前大多数研究仅基于少量数据和单中心数据源，如果模型的性能能够在多中心大数据集中得到进一步验证，那么所构建的模型可以为RC患者的个性化治疗提供更好的指导。
综上所述，DL已经在RC的分期、新辅助治疗后评估、病灶分割以及对基因分型的术前无创预测研究等方面取得一定进展。相信随着更先进算法的应用、更大样本量以及多中心数据加入，稳定性及准确性更高的模型一定会被开发，使DL在RC的研究方面发挥出独特优势，为精准化、个性化治疗策略实施提供新的诊断模式。
来源：石晟铭,肖玲清,马佳琪等.直肠癌基于磁共振成像的深度学习研究进展[J].磁共振成像,2024,15(03):218-222.
(本网站所有内容，凡注明来源为“医脉通”，版权均归医脉通所有，未经授权，任何媒体、网站或个人不得转载，否则将追究法律责任，授权转载时须注明“来源：医脉通”。本网注明来源为其他媒体的内容为转载，转载仅作观点分享，版权归原作者所有，如有侵犯版权，请及时联系我们。)
