中一毛仁&深圳大学黄炳升&陆军军医大特色医学中心魏艳玲等：融合病理、影像、临床信息的多模态模型可精准预测CD的IFX原发性无应答_克罗恩病

中一毛仁&深圳大学黄炳升&陆军军医大特色医学中心魏艳玲等：融合病理、影像、临床信息的多模态模型可精准预测CD的IFX原发性无应答

2026-01-09 来源：IBD Daily

关键词：克罗恩病

发表评论

融合病理学、影像学、临床信息的多模态模型可精准预测克罗恩病患者英夫利西单抗原发性无应答

Development and validation of a novel multimodal deep learning model integrating histopathology, radiology, and clinical data to predict primary non-response to infliximab in patients with Crohn's disease

Journal of Crohn's and Colitis

PMID: 41298328 [IF=8.7]

主要通讯作者

毛仁，中山大学附属第一医院消化内科主任医师，博士生导师。中山大学附属第一医院科研与学科建设处副处长。世界胃肠病学会 (WGO) 青年委员会委员；亚洲IBD学会 (AOCC) 继续教育委员会主席；欧洲消化病学会官方杂志UEG J (JCR, Q1区) 副主编；美国CCFA官方杂志 Inflamm Bowel Dis 编委会成员；中华医学会消化病学分会青年学组副组长；中华医学会消化病学分会IBD学组秘书；中华医学会消化内镜学分会小肠镜与胶囊镜学组委员；中国医师协会内镜医师分会小肠内镜学组副组长；国自然优秀青年基金获得者、国家重点研发计划课题负责人；入选全球前2%顶尖科学家榜单 (2022-2024)。

黄炳升，副教授，清华大学学士、硕士；香港大学博士、博士后；深圳市孔雀计划B类人才。中国生物医学工程学会第十届青年工作委员会委员、医学图像信息与控制分会常委。主持26项国家级、省级、校级教学研究改革项目，获深圳市教育成果一等奖、深圳大学教学成果二等奖。主持3项国家自然科学基金，入选2024年全球前2%科学家。

魏艳玲，陆军军医大学陆军特色医学中心消化内科副主任，博士研究生导师，重庆市英才创新创业领军人才 (医疗领域)、重庆市学术技术带头人。长期从事消化系统疾病临床、科研、教学工作，致力于肠道菌群及肠道疾病相关领域研究。发表论文50余篇，主持国家自然科学基金等各类课题20余项，获得重庆市科技进步奖二等奖1项、陆军军医大学临床新技术一级乙等奖1项、临床新技术二级甲等奖1项、国家发明专利3项；获全国教学基本功大赛一等奖、陆军教学名师、重庆市本科教学优秀案例、重庆市住院医师规范化培训优秀课件一等奖、学校教学标兵；被评为陆军军医大学重点人才扶植对象、“四有”优秀军官，荣获个人三等功。

来源：IBD Daily

背景

克罗恩病 (Crohn’s disease, CD) 是一种累及全消化道、以全层炎症和反复缓解-复发为特征的慢性免疫介导性疾病。生物制剂 (尤其是英夫利西单抗，IFX) 显著改善了CD患者的症状控制与预后，但临床上仍有约10%–30%的患者在诱导期即出现原发无应答 (primary non-response, PNR)，导致疾病控制延迟、用药调整增多，甚至增加不可逆肠损伤风险。因此，在治疗早期甚至治疗前识别高风险PNR人群，对实现 “精准用药” 和 “treat-to-target” 策略尤为关键。既往PNR预测多依赖单一生物标志物或单模态数据，且外部验证不足，泛化能力受限；影像组学与病理特征虽各有潜力，但单一维度难以完整刻画CD从微观黏膜炎症到宏观结构改变的复杂性。本研究因此提出将内镜活检病理学特征、CTE影像特征与临床指标进行多模态融合，构建深度学习预测模型，以提升IFX-PNR的可预测性与临床可转化性。

方法

研究为双中心回顾性队列：中山大学附属第一医院 (2016年10月–2021年10月) 作为内部训练/验证队列，陆军军医大学陆军特色医学中心提供独立外部测试队列。纳入标准包括：成人CD患者接受IFX诱导治疗；起始治疗前1个月内完成结肠镜及CTE；并于治疗后第14周进行疗效评估等；排除合并肿瘤/感染性肠炎、既往肠道手术、严重不良反应停药及无法获取回肠/结肠活检等情况。终点为14周内PNR，定义满足以下任一：第14周HBI较基线降幅小于3分，或第14周HBI绝对值依然高于4分，或14周内因临床评估需要换药/加量/加用激素。

图1. 研究流程

多模态数据包括：(1) 临床与实验室：记录基线人口学、Montreal分型、CDAI、SES-CD、血常规与炎症/营养指标等，并补充第6周CDAI、SES-CD、CRP、ESR等动态指标；(2) 影像学特征：选取CTE静脉期肠壁强化图像，由两名资深腹部影像科医师在MITK中手工勾画病灶VOI/ROI，随后将病灶区域进行标准化并以BiomedCLIP的冻结图像编码器提取深度影像特征向量；(3) 病理学特征：收集IFX治疗前内镜黏膜活检H&E全切片 (40×)，由两名资深消化病理医师盲法复核；数字切片统一分辨率后进行颜色/亮度归一化、组织分割，切分为patch并输入UNI病理基础模型提取每个patch的特征向量。

模型采用 “三阶段融合” 框架：先对 WSI 的patch级嵌入进行聚类与基于聚类的多实例学习 (MIL) 池化得到患者级病理向量；CTE侧对病灶VOI提取患者级CT向量；随后通过跨模态序贯注意力进行病理—影像双模态融合，并将融合后的视觉表征与临床特征拼接，最终使用TabNet对关键共享特征进行选择并输出PNR预测。内部数据按7:3划分训练/验证，最终模型在外部独立队列进行验证，以AUC等指标评估性能。

图2. 三阶段多模态特征融合框架

注：临床模型基于TabNet框架，而病理和CT影像的特征则通过带残差学习的卷积模块提取。基于聚类的多实例学习方法探索病理图像块之间的关系。在特征融合阶段，跨模态注意力模块对两种模态的共享特征进行对齐，随后通过交互融合过滤并整合相关特征，最终实现克罗恩病患者的疗效预测。CLAM (聚类约束注意力多实例学习)：用于全切片图像分析的弱监督深度学习框架。

结果

共纳入188例CD患者：内部训练集93例、内部验证集38例、外部测试集57例。多模态对比显示：仅用临床特征的TabNet模型预测能力有限，内部验证AUC为0.539、外部测试AUC为0.469；病理学特征的模型，内部验证AUC达0.789、外部测试AUC为0.738；病理+CTE双模态模型内部验证AUC为0.844、外部测试AUC为0.756；整合临床+病理+影像的最优多模态模型表现最佳，内部验证AUC为0.852，外部测试AUC为0.858，且在两队列中敏感度、特异度与准确度均达到可接受水平 (内部≥0.65，外部≥0.60)，提示融合策略优于任何单模态模型并具有更好的泛化能力。

在可解释性方面，WSI热图提示模型主要关注重度炎症区域：以中性粒细胞浸润为主的活动性炎症、淋巴细胞聚集灶，以及隐窝结构异常等，这些区域可能反映持续的组织学活动度，与IFX诱导期疗效不佳存在关联线索。

结论

本研究构建并外部验证了一个融合内镜活检病理全切片、CTE影像深度特征与临床指标的多模态深度学习模型，可较准确地预测CD患者IFX诱导期原发无应答风险。与仅依赖临床指标的模型相比，病理AI贡献了关键增益，而多模态融合进一步带来更稳健、可推广的预测表现。该工具有望在临床实践中用于治疗前/早期风险分层，辅助个体化选择与及时优化方案，从而提升疗效并改善长期结局。

致谢

中一毛仁教授&深圳大学黄炳升教授&陆军军医大学魏艳玲教授

团队供稿

参考文献

1.Wang, Y., Wang, H., Wu, X., et al. Development and validation of a novel multimodal deep learning model integrating histopathology, radiology, and clinical data to predict primary non-response to infliximab in patients with Crohn's disease. J Crohns Colitis. 2025 Nov 26:jjaf206.

(本网站所有内容，凡注明来源为“医脉通”，版权均归医脉通所有，未经授权，任何媒体、网站或个人不得转载，否则将追究法律责任，授权转载时须注明“来源：医脉通”。本网注明来源为其他媒体的内容为转载，转载仅作观点分享，版权归原作者所有，如有侵犯版权，请及时联系我们。)

收藏分享