作者:杨浩辉,
随着人工智能发展,深度学习为胶质瘤智能诊疗提供了革命性工具,可实现肿瘤区域高精确度自动分割,替代手动操作;能捕捉人眼难察觉的特征,从术前MRI 中无创预测肿瘤分级、基因分型及复发风险;还可整合影像组学、基因测序、病理组学等多模态数据,挖掘跨数据关联特征,提供更全面的诊断依据。
尽管已有综述分别总结了卷积神经网络(convolutional neural network, CNN)或VisionTransformer(ViT)在医学影像中的应用,亦有研究对二者进行了初步比较,但现有工作多侧重于单一模型原理或宽泛任务,缺乏在胶质瘤这一高异质性肿瘤诊疗全链条中,对CNN 与ViT 进行系统性任务对标、性能剖析、并深入探讨其融合策略与临床转化路径的专门论述。
本综述旨在弥补这一不足,通过系统梳理CNN与ViT在胶质瘤检测分割、病理分级、分子分型及预后评估等核心任务中的应用进展,着重分析二者单独及融合模型的优势、局限与适配场景,以期为领域研究者与临床工作者提供一份既涵盖技术原理又紧扣临床需求的系统性参考,推动胶质瘤智能诊断向更高精确度、更强可解释性与更佳临床效用发展。
在胶质瘤深度学习研究中,CNN 和ViT 是主流模型,二者各有特点。CNN是目前胶质瘤深度学习诊疗的主流方向,而ViT 则展示出惊人的增长潜力,近年来涉及ViT 的研究逐年增长。CNN凭借层级化卷积操作,在局部特征提取上优势显著,早期在分割、良恶性鉴别等依赖细节的任务中占主导,但感受野受限于卷积核尺寸,难以捕捉肿瘤与远隔组织的长距离关联及多模态全局依赖。
ViT 基于自注意力机制建模全局上下文,在解析肿瘤跨区域异质性、融合多模态特征等复杂场景中潜力大,但其对数据和计算资源需求高、局部细节表征不足,在数据稀缺、细节敏感的医学领域单独应用有局限。
随着研究深入,单一模型局限性凸显,CNN 与ViT 的融合成为突破瓶颈的关键。混合架构串联CNN 的局部特征提取与ViT 的全局建模,实现特征互补与解释性协同——既发挥CNN对局部细节的精准捕捉能力,又借助ViT对全局上下文的高效建模能力,同时通过局部热力图与全局注意力权重联合可视化,提升决策透明度与临床信任度,在应对肿瘤异质性、多模态数据不平衡、可解释性不足、小样本泛化等核心挑战中优势显著。
基于此,本文将围绕检测与分割、病理分级、分子分型及预后评估等关键临床任务,系统剖析CNN、ViT及其融合模型的技术原理、应用现状与发展挑战,以期为胶质瘤智能诊断的未来研究提供清晰参考。
1. CNN与ViT的基本原理
CNN受哺乳动物视觉皮层启发,专为处理图像等网格结构数据设计,通过卷积层、池化层与全连接层的层级组合,模拟人类视觉机制中局部特征提取与抽象表示的层级化过程,从而高效完成分类、检测、分割等任务。自2012 年AlexNet 在ImageNet 竞赛中突破后,CNN成为计算机视觉主流架构,经典模型包括LeNet、VGG、ResNet、DenseNet 等,广泛应用于医学影像分析等领域。
在影像分析中,CNN擅长捕捉边缘、纹理等局部精细特征,可精准聚焦关键信息并减少冗余计算,这对胶质瘤分割、早期微小病灶检测至关重要。其参数共享机制大幅精简模型参数,使其在医学领域常见的如罕见胶质瘤亚型小样本场景中更易训练且性能稳定;同时具备平移不变性,对输入数据的几何变换天然鲁棒。但CNN的感受野受限于卷积核尺寸,难以捕捉全局长距离特征关联,多模态全局建模能力较弱,且决策过程类似“黑箱”,虽可通过梯度加权类激活映射(gradient-weighted class activation mapping,Grad-CAM)等技术定位关键区域,但对复杂空间关系的解释存在模糊性,难以满足临床对透明度的需求。
ViT 是2020 年Google 团队提出的模型,将Transformer 架构从自然语言处理迁移至计算机视觉,通过自注意力机制实现全局特征建模,近年在医学影像分析中快速崛起。其核心是将图像转化为序列并复用Transformer 架构,通过图像分块、序列转化及全局关联计算提取特征,框架由输入处理模块、Transformer 编码器和输出头构成,常见模型包括B/16、Swin Transformer、MobileViT等。
ViT 的优势在于全局上下文建模,能突破CNN的局部感受野限制,捕捉胶质瘤跨区域异质性及多模态全局关联,对影像噪声或伪影的鲁棒性更强。其注意力权重可视化可精准定位与肿瘤分子标记相关的关键特征,例如在
值得注意的是,Transformer 最初是为自然语言处理任务设计的,常用于处理文本或语音数据,而ViT是专门针对计算机视觉领域开发的,主要用于解决图像相关的任务。ViT 与原始Transformer 共享自注意力机制这一核心,是其在视觉领域的延伸,但两者在架构、输入处理等方面存在显著差异,在医学图像处理中,融合Transformer 机制而非直接使用ViT是务实且主流的选择,这种属于CNN与ViT融合的方式既保留CNN优势又引入Transformer 全局建模能力,还能降低计算复杂度和数据需求,更贴合实际需求。
CNN 与ViT 因原理差异形成天然互补,CNN 擅长捕捉肿瘤边缘、微侵袭灶等局部特征,ViT 则擅长建模肿瘤整体分布、跨模态关联等全局信息。二者结合时,CNN 可弥补ViT 的局部细节不足和高计算成本,ViT 能强化CNN的全局关系捕捉能力;在可解释性上,混合模型融合局部热力图与全局注意力可视化,形成“局部定位与全局追溯”的完整解释链条,提升临床可信度,最终实现精确度、效率、泛化能力、可解释性及适用场景的综合优化。
2. CNN与ViT在胶质瘤检测与分割的应用
胶质瘤的早期检测与精准分割是改善患者预后的关键。其为手术规划与神经功能保护提供了精确导航,并为放疗靶区勾画与个体化治疗决策提供了定量依据。针对瘤区边界模糊、多模态信息融合困难以及微小侵袭灶漏诊等核心临床瓶颈,基于CNN、ViT及其融合策略的新型人工智能方法近年来取得了显著进展,正加速推动该技术向临床实际应用转化。CNN凭借强大的局部特征捕捉能力,匹配“边界识别”与“微灶检出”的临床需求,成为早期胶质瘤检测与分割的核心工具。在检测与分类任务中,其高准确率优势显著。
GUPTA等采用InceptionResNetV2 提取肿瘤MRI 的细微纹理差异,结合随机森林实现胶质瘤、
TRIPATHI 等设计含空间和通道注意力的3DCNN,通过特征校准实现多模态MRI 分割,性能优于多种先进方法。RUDIE等的3D nnU-Net 利用多模态MRI 序列,包括T1 加权成像(T1-weighted imaging, T1)、T2 加权成像(T2-weighted imaging,T2)、液体衰减反转恢复(fluid attenuated inversion recovery, FLAIR)序列等分割瘤周
ViT 则凭借全局上下文建模能力,弥补了CNN在长距离特征关联上的局限,在多肿瘤分类、跨中心数据整合等需全局视角的任务中展现出独特价值。其预训练模型的跨场景迁移效果显著。TUMMALA等采用ImageNet 预训练ViT 模型对T1 加权增强(T1-weighted, T1w)MRI 图像分类,总体准确率达98.7%。REDDY等的微调模型FTVT-l16 在胶质瘤、脑膜瘤、垂体瘤、无肿瘤四分类中准确率达98.70%,优于ResNet50 的96.5%,印证全局建模优势。
改进模型进一步突破性能瓶颈,WANG 等的BalancedTransformer 优化补丁分割与自注意力机制,实现原发性
CNN与ViT 的融合策略通过优势互补进一步提升性能,形成多类成熟架构。并行式融合中,LI 等的DeepGlioSeg 采用U型架构,通过CTPC 模块并行提取CNN局部特征与Transformer 全局特征,结合区域概率加权机制为如瘤周水肿边界的低概率区域分配更高权重,聚焦肿瘤分割,最终在多个数据集上性能优于其他先进方法。ZEINELDIN等的TransXAI模型以U型编码器-解码器为基础,深度整合CNN与ViT 优势,在脑肿瘤分割挑战赛(Brain TumorSegmentation Challenge, BraTS)2019 数据集上,全肿瘤、肿瘤核心、增强肿瘤的DSC 分别达0.882、0.782、0.745,豪斯多夫距离优于多数现有方法,其基于Grad-CAM的后验可解释性模块通过显著性热图,直观展示模型对不同肿瘤亚区域的关注重点及各MRI模态(如FLAIR 对水肿、T1w 对强化病灶)的贡献权重,提升临床可信度。
双编码器融合中,ZHUANG等的3D层次跨模态交互网络(HCMINet),通过层次跨模态交互Transformer(HCMITrans)编码器与模态共享卷积编码器构建双编码器架构,结合渐进式混合上下文融合解码器,在BraTS2020 和BraTS2021 数据集上平均DSC值分别达85.33%和91.09%,优于现有基于Transformer 和CNN 的方法,有效解决多参数MRI 图像中胶质瘤精确分割难题。
综上,在胶质瘤的检测与分割中,模型的选择取决于具体任务与数据条件。对于侧重局部边界勾画的单模态高分辨率数据,计算高效的CNN是稳健首选;若任务需整合多模态MRI 并理解全局关联,且数据充足,则ViT 能提供更强的整体建模能力;而在面临边界模糊、异质性的复杂场景时,融合CNN与ViT优势的混合模型已成为前沿方向,它们在提升性能的同时也增强了可解释性。
3. CNN与ViT在胶质瘤的分级的应用
胶质瘤分级对患者预后判断和治疗方案制定至关重要,高级别胶质瘤(high-grade glioma, HGG;WHO Ⅲ/Ⅳ 级)中位生存期显著短于低级别(low-grade glioma, LGG; WHO Ⅰ/Ⅱ级),其直接指导临床诊疗策略(如低级别以手术为主、高级别需强化综合治疗)是连接病理、诊疗与预后的核心环节及精准医学的关键基石。
CNN在胶质瘤分级中应用广泛且成效显著,基于MRI 的模型普遍通过捕捉肿瘤形态、强化模式等关键特征实现LGG 与HGG 的高效区分。ZHUGE等开发的2D(基于Mask R-CNN)与3D ConvNet 模型,均达到临床可用精确度(敏感度和特异度均>93%),且3D 模型因整合空间上下文,准确度更优(97.1% vs. 96.3%),证实三维特征的增益。多特征融合策略进一步提升性能,如XU等融合CNN深层特征与传统放射组学特征,受试者工作特征曲线下面积(area under the curve, AUC)达0.958。
FASIHISHIREHJINI 等采用预训练VGG-16 提取多序列MRI 特征,结合支持向量机分类器实现Ⅰ~Ⅳ级分级,准确率达99.38%,凸显迁移学习与传统机器学习结合的优势。多组学整合研究中,MUNQUAD 等构建的框架整合转录组与甲基化组数据,CNN 对LGG 与GBM 的分类准确率分别达98.03% 和94.07%。病理组学方面,SHIRAE 等通过CNN 从数字病理全切片图像(whole slide image, WSI)提取微观特征,结合临床数据,在平衡与不平衡数据集上均实现了93.6%与96.7%的准确率,但基于WSI 的研究仍较有限,可能与获取成本及技术复杂度有关,也反映出CNN在处理超大尺寸、需全局理解的病理图像时可能存在架构上的局限。
目前,单独应用ViT于胶质瘤分级的研究较为罕见,这与其对大规模标注数据的高要求及在细粒度局部特征捕捉上的相对劣势有关。而融合CNN 与ViT 的混合架构展现出更大潜力。ELAZAB 等提出的混合架构,融合2D、3D多模态CNN、ViT 与手工特征,结合堆叠集成分类器实现精准分级。该架构发挥CNN 捕捉局部病理细节(如细胞纹理、肿瘤边缘)与ViT 建模全局组织关联(如坏死与肿瘤核心分布)的优势,构建“局部-全局”协同分析链条,契合病理诊断逻辑。其跨模态注意力融合机制可动态调整特征权重,提升决策透明度,经消融实验、互信息分析及Grad-CAM可视化验证,模型决策与病理事实一致,可解释性强。
在The Cancer Genome Atlas(TCGA)和深度组织病理学数据集(Deep Histology Dataset, DeepHisto)数据集上,准确度分别达97.1%和95.0%,显著优于现有方法,为分级提供高精确度且可追溯的解决方案。综上,在胶质瘤分级实践中,基于MRI 的CNN模型因技术成熟、性能稳定仍是主流首选;针对多模态数据或病理图像分析等更具挑战性的场景,CNN-ViT 融合架构展现出高性能与强可解释性的前沿优势,但存在计算复杂度较高的问题,纯ViT 模型的规模化应用仍需更多数据与算法支撑。
4. CNN与ViT在胶质瘤的分子分型的应用
胶质瘤分子分型已从传统组织学形态分级转向分子特征主导的精准模式,WHO于2016 年首次将分子标志物与组织学结合,并在2021 年版分类中进一步强化其主导地位。分子分型通过IDH1/2 突变、1 号
CNN在胶质瘤分子分型中表现突出,尤其擅长通过多序列影像融合捕捉与分子特征相关的细微影像模式。在IDH 突变及1p/19q 共缺失预测中,CNN表现优异。CHOI 等整合3 个中心1166 例Ⅱ~Ⅳ级胶质瘤患者的多序列MRI(T1 增强、T2、FLAIR),构建融合2D与3D特征的CNN模型,内部及外部验证集IDH突变预测AUC 分别达0.96、0.94 和0.86,验证了多中心数据的稳定性。CLUCERU 等进一步纳入弥散加权成像(diffusion-weighted imaging, DWI),构建同时预测IDH突变与1p/19q 共缺失的3 分类模型,总体准确率显著优于分层预测法及单一解剖成像模型,证实多序列融合可提升精确度。
针对特异性分子标志物,CNN的预测价值同样显著。
磷酸酶与
在儿科低级别胶质瘤(pediatric low-grade glioma, pLGG)中,B-Raf 原癌基因(B-Raf proto-oncogene, BRAF)突变,尤其是其V600E(缬氨酸600 至
然而,该方面研究多基于影像组学而病理组学应用不足,可能与单一病理切片难以反映肿瘤整体分子特征,而影像可覆盖全肿瘤体积。对于需要全局建模与多尺度整合的任务,ViT能够建立图像全局的依赖关系,擅长挖掘长程关联。在影像组学中,XU等针对188 例Ⅱ~Ⅳ级胶质瘤患者,构建包含三个独立网络的ViT 模型,同步预测IDH、MGMT、Ki67、P53 四种分子表达,其中整合双序列全局关联的TU-net 性能最优,四项分子表达预测的准确率达93.7%~96.9%,AUC 达97.6%~98.4%,且显著优于CNN 模型。
NIU 等基于CrossFormer开发堆叠模型预测IDH野生型伴TERTp 突变的胶质瘤,结果显示多通道2.5D模型优于2D模型和影像组学模型,堆叠模型性能最佳,AUC 达0.855~0.904,体现了2.5D模型融合多影像空间信息以提升预测准确性的优势,也彰显了ViT对多尺度影像特征的整合能力。
ViT 在病理图像分析中展现出更独特的优势,LI等开发的端到端高度可解释模型ViT-WSI,不仅实现8 种原发性脑肿瘤分类(平均AUC=0.9408)及IDH1 突变预测(AUC=0.960),其可解释性设计还将模型决策与细胞形态、血管结构等具体病理特征关联,为病理与分子关联分析提供了直观工具。这说明,在需要理解全切片组织结构、挖掘跨区域关联或同步解析多尺度特征的复杂任务中,ViT的全局建模能力具有不可替代的价值。
CNN 与ViT 的联合模型通过跨任务融合实现“肿瘤区域定位-分子特征预测”的端到端学习,整合两者优势,进一步提升性能。CHENG等采用混合CNN-Transformer 编码器,串联分割解码器与基因分型分类器,在胶质瘤分割与IDH突变预测中,性能优于单任务模型及现有先进方法。ZHAO 等基于WSI 开发聚类的CNN 与ViT 混合模型,检测IDH 突变状态的验证集AUC=0.973、外部测试集AUC=0.953,在组织学特征相似的难区分亚组中仍保持高准确性(AUC=0.850~0.985),显著优于纯CNN、纯ViT及经典多实例学习模型。
因此,胶质瘤无创分子分型的模型选择高度依赖具体场景:基于多序列影像的预测,技术成熟的CNN是稳健首选;面对整张病理切片分析或多标志物同步预测时,ViT系列模型在捕捉全局关联上更具优势;而对于需兼顾肿瘤定位与分子特征的端到端复杂任务,CNN-ViT 融合架构已成为实现性能突破的主流趋势。
5. CNN与ViT在胶质瘤的预后评估的应用
胶质瘤患者预后受多种因素影响,个体差异显著。准确预测不同患者的预后风险,对于针对性选择治疗强度与策略至关重要。例如,低级别胶质瘤患者预后较好,可优化手术范围或辅助治疗策略;高风险患者则优先推荐联合放化疗或新型靶向治疗,避免过度或不足治疗。深度学习技术,尤其是CNN、ViT 及其联合模型,为胶质瘤预后评估带来了新的突破。CNN凭借其强大的多模态融合与非线性建模能力,在预后评估中应用广泛且成熟。 在生存时间预测方面,CNN展现出对多模态数据的深度挖掘能力。
LYU等设计的低复杂度模型SurvNet,用于GBM患者生存时间分类,增加MRI 输入模态后模型性能提升,证实多模态影像对生存预测的增益。LEE等训练3D SE-ResNeXt 模型预测弥漫性胶质瘤患者总生存期,发现全脑形态学特征有独立预后价值,整合多维度信息后性能最优。在基因组数据建模中,YIN等开发的CNN-Cox 生存分析模型,解决了高通量测序数据过拟合问题,为基因组数据驱动的预后预测提供高效方案。
在胶质瘤复发进展预测中,CNN也实现了从术中检测到远处转移的精准评估。HOLLON 等利用术中刺激拉曼组织学成像训练CNN 来检测活的复发性胶质瘤,在验证集上实现95.8%的诊断准确率,为术中快速判断肿瘤活性提供实时工具。GUO等构建以ResNet 为骨干的端到端分类框架,融合代谢影像与结构MRI识别肿瘤进展与反应,其影像水平分类AUC 从0.88 提升至0.90(P<0.001),证实代谢影像的补充价值。ZHAO等设计多模态专用CNN卷积模块[Conv-D处理弥散张量成像(diffusion tensor imaging, DTI)、Conv-P 处理PET],提升了远处复发预测能力,弗雷歇起始距离达28.93,骰子相似系数达0.9113,为放疗规划提供了关键指导。
模型可解释性是临床转化的关键。OH等提出了PathCNN,通过构建“通路图像”整合多组学数据,构建了可解释的CNN 模型。其可解释性通过Grad-CAM生成类别激活映射定位关键通路区域,结合统计方法识别出与生存显著相关的关键通路,证实CNN可实现多组学数据的可解释分析并为临床决策提供理论依据。这些研究表明,在需要整合影像、基因组、临床参数等多源异构数据,并从中提取综合性预后特征的场景中,CNN因其结构灵活、技术成熟而成为当前的主流选择。
ViT则通过其全局注意力机制,为预后评估提供了新的视角,尤其擅长处理具有空间长程依赖或跨尺度关联的任务。在GBM患者放疗后假性进展与真性进展的区分这一临床决策关键挑战中,且标注数据稀缺限制模型开发的情况下,GOMAA等提出自监督ViT 方案,采用多序列MRI 图像结合临床参数与放疗计划信息,利用无标签数据进行预训练,在两个中心的数据集中,模型区分假性进展与真性进展的AUC 达75.3%,性能优于现有方法。
GUO 等提出跨放大倍数注意力模型CroMAM,通过SwinTransformer 与ViT结合处理多放大倍数WSI,实现胶质瘤基因状态与生存期的高效预测,其可解释性依托ViT实现,定性以注意力热图展示跨尺度特征关注变化,定量验证交叉注意力显著增强跨尺度特征融合,验证了跨放大倍数特征融合的有效性。这说明,对于需要理解病灶整体空间构型、微环境分布等全局信息的预后任务(如基于WSI 的生存分析),ViT的全局建模能力展现出独特优势。
综上,当前胶质瘤预后评估仍以CNN及其多模态融合策略为主流,尤其适用于整合异构临床数据,而在处理WSI 等强空间上下文数据时,ViT正逐步显现其技术潜力。尽管CNN与ViT 的融合模型在该领域直接研究尚少,但两者的联合框架仍是未来提升预后模型精确度与临床可解释性的关键方向。
6. 总结与展望
本文系统综述了CNN与ViT 在胶质瘤智能诊疗中的研究进展。综述表明,CNN 与ViT 并非简单的替代关系,而是因其原理差异构成了互补的技术体系,二者的发展与融合共同推动着研究范式的演进。在模型选择上,CNN凭借其局部归纳偏置,在依赖精细局部特征的任务(如肿瘤边界分割、基于影像纹理的分级)中表现稳健,且对数据规模相对宽容。ViT则通过自注意力机制,在处理需要全局上下文建模的任务(如全切片病理图像分析、多模态关联、长程依赖建模)中展现出独特优势。
面对胶质瘤异质性高、边界模糊、多模态数据融合等核心临床挑战,CNN与ViT 的融合策略通过架构创新实现了优势互补,不仅在检测分割、病理分级、分子分型及预后评估等多项任务中持续刷新性能纪录,其通过联合可视化构建的“局部-全局”可解释链条,也显著增强了模型的临床可信度。技术演进呈现出从单模态到多模态、从单尺度到多尺度、从单任务到多任务、从小样本到自监督学习的清晰趋势。未来展望:尽管成效显著,CNN与ViT 在胶质瘤研究中的深入应用仍面临挑战,未来可从以下方向寻求突破。
第一,推动融合架构的精准化与轻量化,探索动态特征路由、自适应注意力等高效混合机制,设计轻量级架构以平衡性能与效率,满足临床实时需求; 第二,革新数据生态与学习范式,推动高质量、标准化多中心数据集的共建共享,发展自监督与弱监督学习,充分挖掘数据价值并降低对大规模标注数据的依赖;第三,深化可解释性与先验知识的融合,超越事后可视化,将医学先验知识以可微分方式嵌入模型设计,发展“内在可解释”模型,使AI 决策逻辑与临床认知深度融合,提升临床信任度; 第四,构建面向多组学的统一建模框架,无缝整合影像、病理、基因组等多模态数据,实现从“影像/病理智能”到“多组学融合智能”的跨越,支撑个体化精准诊疗。
来源:杨浩辉,徐涛,王伟,等.卷积神经网络与Vision Transformer在胶质瘤中的研究进展[J].