溃疡性结肠炎（ulcerative colitis，UC）是一种以结直肠黏膜连续性、弥漫性病变为特征的慢性非特异性肠道炎症性疾病，病程迁延反复，严重影响患者生活质量。随着生物制剂及小分子药物的广泛应用，UC的治疗目标已从症状控制逐步深化为内镜缓解乃至组织学缓解 ^{［ 1 , 2 , 3 ］} 。

内镜愈合是UC达标治疗的核心指标 ^{［ 4 ］} ，然而内镜下表现正常的患者中仍可能存在持续的组织学炎症，此类残余组织学炎症仍与高复发风险相关 ^{［ 5 , 6 ］} 。研究证实组织学缓解可有效预测无复发生存率 ^{［ 7 ］} ，以症状、内镜与组织学三重缓解为靶点的治疗方案可实现更优的无激素持续缓解率 ^{［ 8 ］} 。然而，内镜下活动度评估主观性强，且白光内镜仅呈现肠腔黏膜表面形态，无法评估炎症累及的深层肠壁结构。因此，内镜评分与组织学活动度之间存在偏差，制约了UC精准诊疗。

超声内镜（endoscopic ultrasonography，EUS）可将超声探头直接送抵肠壁黏膜面，实时获取肠壁各层次的断层超声图像。与经腹超声相比，EUS直接贴合黏膜，有效规避腹腔内空气及肠内容物对成像的干扰，可更准确地评估炎症累及肠壁的深度与程度 ^{［ 9 , 10 ］} 。EUS可识别UC患者的肠道炎症活动，提供白光内镜无法呈现的深层炎症特征 ^{［ 11 ］} ，但其与UC组织学活动度之间关系尚未充分阐明。

人工智能（artificial intelligence，AI）的快速发展为UC活动度的客观评估提供了新手段。Takenaka等 ^{［ 12 ］} 基于白光内镜图像构建深度学习模型评估UC内镜与组织学活动度，Bossuyt等 ^{［ 13 ］} 开发自动量化黏膜表面红色密度的AI系统以客观评估黏膜愈合状态。然而，现有研究局限于白光单模态，未能整合肠壁深层结构特征。在多模态内镜AI领域，Zhu等 ^{［ 14 ］} 融合白光与超声内镜特征用于胃内隆起性病变诊断，验证了多模态策略的可行性与优越性。然而，基于多模态内镜影像的UC活动度评估仍有待探索。

本研究前瞻性纳入UC患者的白光与超声内镜影像资料，构建基于多模态内镜特征融合的深度学习模型，探索无创评估UC组织学活动度的可行性。

一、研究对象

本研究为单中心前瞻性观察性探索性研究。连续纳入2024年5月至2025年2月于中山大学附属第一医院行结肠镜检查的UC患者。纳入标准：（1）符合《中国溃疡性结肠炎诊治指南（2023年·西安）》 ^{［ 15 ］} 的诊断标准；（2）年龄≥18岁；（3）知情同意并接受超声内镜检查。排除标准：（1）合并结直肠肿瘤性病变；（2）既往结直肠手术史；（3）既往诊断为全结肠型UC患者；（4）无对应部位的病理结果；（5）图像质量不佳无法分析。本研究遵循《赫尔辛基宣言》，经本院伦理委员会批准（批准文号：［2024］080），所有患者均签署知情同意书。本研究依据诊断准确性研究报告规范（STARD）撰写 ^{［ 16 ］} 。

二、研究方法

1.资料收集：入组时收集患者基线资料，包括性别、年龄、体质量指数（body mass index，BMI）、UC确诊至入组的病程、蒙特利尔分型、当前使用的维持治疗药物（包括5-氨基水杨酸类、糖皮质激素、免疫抑制剂、生物制剂及小分子药物）。

2.内镜检查流程：所有患者于检查前一日流质饮食，检查日禁食，以聚乙二醇行肠道准备。结肠镜检查由具有5年以上临床经验的内镜医师完成，使用白光结肠镜（日本奥林巴斯，CV-290；日本富士，EC760）进镜至回盲部，退镜时评估病变范围及内镜活动度。内镜活动度采用Mayo内镜评分（Mayo endoscopic score，MES）进行评估（0~3分）；病变累及范围依据蒙特利尔分型分为直肠炎（E1）、左侧结肠炎（E2）和广泛性结肠炎（E3）。内镜医师于直肠、乙状结肠及降结肠各肠段炎症最严重处分别采集白光内镜图像，并于同一部位依次行超声内镜检查及黏膜活检，确保3种模态资料（白光内镜图像、EUS图像、活检组织）的空间配对。

3. 超声内镜评估：EUS检查均由具有5年以上经验的内镜医师完成，在白光内镜下各肠段活动度最重部位，经活检通道送入微探头超声内镜（日本富士，P2620-M）进行扫查。探头抵至肠壁黏膜面并保持水囊充盈稳定后采集垂直于肠壁长轴的横断面图像，需清晰显示肠壁各层结构；存在伪影、气泡干扰或层次结构显示不清的图像予以剔除。在合格图像上垂直于肠壁选取测量点，分别测量黏膜层、黏膜下层、固有肌层及肠壁全层厚度（mm），由操作医师实时测量并由研究助理同步记录。

4.组织学评估：活检结果由2位经验丰富的胃肠病病理学家共同评估，意见不一致时由评估者讨论后共同给出最终评估结果，采用Nancy组织学指数（Nancy histological index，NHI）进行分级，其中NHI≤1分定义为组织学缓解，NHI=0分定义为组织学愈合 ［ 17 , 18 ］ 。

5.模型构建：模型输入3种模态数据，包括（1）白光内镜图像共607张，每病灶3.1±2.3张；（2）超声内镜图像共1 055张，每病灶5.4±2.5张；（3）超声测量参数：病灶部位及肠壁各层厚度共5个结构特征。图像统一缩放至224×224像素，采用水平翻转、垂直翻转、随机旋转（±15°）及颜色抖动进行数据增强。

模型骨干网络采用EfficientNet-B2（ImageNet预训练初始化），输出1 408维特征向量。分别构建3个模型：（1）白光单模态模型，单支EfficientNet-B2处理白光内镜图像；（2）白光-超声双模态，双支EfficientNet-B2网络分别处理白光和超声内镜图像，通过晚期融合策略拼接两路特征向量后输入分类器；（3）多模态融合模型，在双模态基础上增加结构参数分支，结构参数经多层感知机编码后与双路图像特征拼接，实现多模态特征融合。

训练时每个病灶在每个epoch内随机采样1张图像参与前向传播以增加数据多样性，采用AdamW优化器（学习率5×10⁻⁵，权重衰减1×10⁻⁴），余弦退火调度器（最小学习率1×10⁻⁶）。损失函数采用带类别权重的二元交叉熵损失。针对训练集中阳性与阴性样本分布不均衡的问题，依据两类样本的比例计算对应的类别权重，并将其作为参数传入损失函数，从而对少数类样本的误分类施加更高的惩罚，以缓解类别不平衡对模型训练的影响。引入标签平滑以缓解过拟合。

6. 模型测试：以NHI为金标准，分别评估组织学缓解与组织学愈合2个任务的分类性能。为防止同一患者不同病灶分布于训练和测试集导致的数据泄漏，研究采取患者级别分层策略，按患者进行分层5折随机划分（4折训练、1折测试），以不同随机种子重复3次上述5折划分，共产生15次独立训练-测试，所有性能指标为15次结果的 x±s ［ 19 ］ 。对每个病灶的全部图像分别推理，取预测概率均值作为病灶级别预测值，再根据阈值判定分类，基于各测试折的ROC曲线，采用约登指数（Youden's J）确定最佳分类阈值。

7.可解释分析：采用消融实验框架评估各模态的增量贡献，以白光单模态为基线，依次引入超声内镜图像（双模态模型）及肠壁结构参数（多模态模型），比较各模型在组织学缓解识别任务和组织学愈合识别任务中的性能。对白光内镜图像分支采用梯度加权类激活映射（gradient-weighted class activation mapping，Grad-CAM）进行可视化分析，生成热力图以直观呈现模型预测时关注的黏膜区域。

8.样本量计算：以主要结局指标敏感度为基准，设定预期敏感度为0.85，置信区间半宽度为0.10，双侧α=0.05。考虑本研究组织学活动期病灶患病率约35%，计算所需最小样本量为128个病灶。

三、统计学方法

统计分析使用R软件（v 4.3.1，R Foundation for Statistical Computing，Vienna，Austria）。基线资料采用描述性统计，连续变量以 x±s表示，分类变量以频数（百分比）表示。模型性能评估均以病灶为统计单位，评估指标具体包括准确度、敏感度、特异度、受试者工作特征曲线下面积（area under the curve，AUC）及F1分数，均报告15次交叉验证的 x±s ［ 20 ］ 。对每次交叉验证折内的测试集病灶，采用DeLong检验比较两模型的AUC差异。以 P<0.05为差异有统计学意义。

一、UC患者临床资料

共纳入76例受试者，排除14例，最终纳入62例UC患者，研究流程见 图1 。其中男性30例（48.39%），女性32例（51.61%），平均年龄（46.34±13.04）岁。平均体质量指数（21.84±2.82）kg/m²，平均病程（5.27±4.39）年。药物治疗以美沙拉嗪为主（39例，62.90%），其次为维得利珠单克隆抗体（11例，17.74%）。

图1  研究流程图

共纳入195个病灶，病灶的Nancy评分为0分64个（32.82%）、1分61个（31.28%）、2分36个（18.46%）、3分16个（8.21%）、4分18个（9.23%）。组织学活动度分类中，非活动期（NHI 0~1分）125个（64.10%），活动期（NHI 2~4分）70个（35.90%）；组织学愈合分类中，愈合（NHI 0分）64个（32.82%），未愈合（NHI 1~4分）131个（67.18%）。获得白光内镜图像607张，超声内镜图像1 055张。

二、模型组织学活动度评估性能

在组织学缓解识别任务中，白光-超声双模态模型AUC最佳（0.874±0.068），白光单模态模型AUC为（0.851±0.109），多模态融合模型AUC为（0.839±0.095）（ 表1 ）。白光-超声双模态模型准确度（0.838±0.057），敏感度（0.867±0.125）。纳入肠壁结构参数后多模态模型性能未见提升，提示透壁结构的数值特征对组织学缓解识别的增量贡献可能有限。各模型ROC曲线见 图2 。

图2  三种模型评估溃疡性结肠炎组织学缓解ROC曲线比较图

在组织学愈合识别任务（NHI 0分比NHI 1~4分）中，白光单模态模型取得最佳AUC（0.679±0.085），白光-超声双模态模型AUC为（0.621±0.068），多模态融合模型AUC为（0.646±0.075）（ 表2 ）。白光单模态模型准确度为（0.693±0.087），敏感度为（0.641±0.157），特异度为（0.798±0.160）。各模型在该任务中的整体预测效能均较为有限。各模型ROC曲线见 图3 。

图3  三种模型评估溃疡性结肠炎组织学愈合ROC曲线比较图

三、可解释性分析

消融实验结果显示，在组织学缓解识别任务中，引入EUS图像后AUC由（0.851±0.109）提升至（0.874±0.068），但差异未达统计学意义（ P=0.295），表明EUS的透壁结构信息对模型性能具有一定的增量贡献。然而，进一步融入肠壁各层厚度参数后AUC降至（0.839±0.095）（ P=0.068）；在组织学愈合识别任务中亦呈相同趋势，AUC由（0.679±0.085）降至（0.646±0.075）（ P=0.186），提示肠壁厚度的数值特征未能为模型提供额外的判别信息。

Grad-CAM热力图显示，在白光内镜图像中，模型的注意力区域主要集中于黏膜充血、血管纹理模糊、糜烂及溃疡等区域，与组织学活动期的黏膜病理特征高度吻合（ 图4 ）。

图4  基于组织学愈合模型的白光与超声图像热力图　4A、4B、4C分别为Nancy指数为0、2、4分的肠道黏膜病灶的白光及超声内镜原始图像及对应的白光与超声内镜图像及敌营Grad-CAM的可视化热力图

本研究前瞻性收集UC患者的白光内镜与超声内镜影像，创新性地构建了融合两种模态内镜特征的UC活动度评估模型，并比较了单模态与多模态策略的性能差异。在组织学缓解评估中，白光-超声双模态模型较白光单模态略有提升但差异不具有统计学意义，提示EUS所提供的肠壁深层结构信息对组织学缓解识别具有一定增量价值，但该优势需更大样本进一步验证。

既往观点认为UC是局限于黏膜的浅表性炎症，近年证据表明UC病变可累及肠壁深层结构 ^{［ 21 ］} 。肠道超声显示，活动期UC可呈现肠壁增厚、回声减低、分层消失等透壁性改变 ^{［ 22 ］} 。基于肠道超声的黏膜下指数与UC内镜活动度亦存在相关性，可作为疾病活动度的预测参数 ^{［ 23 ］} 。本研究结果与上述发现相呼应，提示超声提供的透壁疾病特征在UC评估中的独立价值。

UC组织学缓解被视作比内镜缓解更严格的治疗目标，与长期无复发生存率显著相关。活检病理是组织学活动度评估的金标准，但其有创且局部取样受限，不足以代表整体肠道状态。因此，多种替代性评估手段被相继推出，包括粪钙卫蛋白、经腹肠道超声和窄带成像内镜等被报道与组织学愈合相关 ^{［ 24 , 25 ］} 。既往研究提示EUS可识别UC肠道炎症，其中直肠壁增厚程度与组织学严重程度正相关 ^{［ 26 ］} ，但EUS用于UC组织学评估的研究总体仍较有限。本研究在此基础上引入深度学习辅助EUS评估，在保留评估准确性的同时减少活检所带来的出血、穿孔等风险，为UC组织学状态的无创监测提供了潜在途径。

既往AI辅助UC评估研究发展迅速，但多局限于白光内镜单模态 ^{［ 12 ， 27 ］} ，仅能捕捉黏膜表面形态学特征，无法反映肠壁深层结构改变。本研究创新性整合白光与EUS多模态影像，拓展了UC智能评估的维度，证实融合白光与超声内镜的双模态模型较白光单模态在UC活动度评估中可能更具优势。尽管本研究样本量有限，但采用患者级别5折交叉验证共15次独立测试，在一定程度上减少了因单次数据划分导致的偶然性偏差。

值得关注的是，在白光-超声双模态模型基础上进一步融入肠壁各层厚度参数并未提升UC组织学活动度评估性能，提示肠壁厚度的数值本身可能并非模型的核心判别依据。既往研究亦提示肠壁分层结构消失与UC疾病严重程度的相关性高于肠壁厚度本身 ^{［ 28 , 29 ］} 。上述发现提示，超声图像中的形态学特征（如回声纹理、分层结构完整性等）可能已被卷积神经网络提取，而单纯的厚度数值无法提供超越图像特征的额外判别信息。未来需开展前瞻性研究系统探讨UC疾病活动与肠壁结构损伤的关系。

本研究中，白光-超声双模态模型在组织学缓解识别中表现更佳，而在组织学愈合识别中白光单模态模型反而更具优势。该现象可从以下层面理解：（1）组织学愈合定义较缓解更严格，需识别黏膜从轻度慢性炎症（NHI 1分）向完全静止（NHI 0分）转变的细微改变，主要体现于黏膜表面腺体结构与血管形态，而非透壁变化；（2）EUS对轻度炎症与完全缓解之间结构差异的分辨能力有限；（3）本研究中NHI 0分病灶数量有限，可能制约了愈合模型的充分训练。不同层次的治疗目标可能对应不同的最优评估模态组合，值得在更大样本研究中进一步验证。

本研究存在一定局限性：（1）样本量偏小，有限的训练数据可能导致过拟合风险，虽采用患者级别5折交叉验证重复3次以减少偶然性偏差，但不能替代独立外部验证；（2）纳入人群中缓解期病灶占比较高，可能限制模型在中重度活动期病灶中的泛化能力；（3）本研究为单中心设计，所用内镜与EUS设备型号单一、操作习惯有限，需多中心数据扩充与外部验证进一步评估模型的稳健性与可推广性；（4）仅采用Nancy组织学指数进行组织学评估，未纳入Robarts组织病理学指数或Geboes评分等工具，未来多指标联合评估有望进一步提升模型精度。

单中心前瞻性探索性研究构建了融合白光与超声内镜的UC组织学活动度评估模型，初步结果提示白光-超声双模态模型在组织学非活动识别中表现出潜在的性能增益趋势。本研究创新性地将多模态内镜影像融合策略引入UC组织学活动度的智能评估，为降低有创活检依赖提供了初步技术探索。、