生成式大语言模型用于超声医学进展
发布时间:2026-11-17   |   来源:中国医学影像技术
关键词: 生成式大语言模型 超声医学 影像科

作者:陈 璐,张明博,罗渝昆,中国人民解放军总医院第一医学中心超声诊断科


生成式大语言模型(generative large language model,GLLM)是基于深度学习的自然语言处理模型,以强大的文本生成能力为特点,兼具语言理解、逻辑推理和多模态交互功能,是人工智能(artificial intelligence,AI)领域的变革性力量之一。自2022年11 月OpenAI 公司推出ChatGPT 3.5 以来,GLLM 获得关注。随后的ChatGPT4.0,Claude3-Opus和ChatGPT4o等模型在文本、语音和图像处理集成化,以及模仿人类认知功能方面的能力相继得到显著提升,实现了多模态、高智能化的逐步突破。


GLLM 在超声医学领域备受关注,相关研究聚焦于影像学知识问答、生成结构化报告、诊断和管理疾病等方向。超声医学广泛用于疾病诊疗全程,但结果高度受主观因素影响而具有变异性。自动生成和解释超声报告是临床难题。GLLM 强大的语义理解和文本生成能力为此提供了新的解决方案。本文就GLLM 用于超声医学研究现状进行综述。


1. GLLM 用于影像学知识问答


基于接入的数据库资源,GLLM 可在未经专业医学知识训练的前提下快速准确地生成医学相关问题答案。BHAYANA 等设计150余道难易程度适中的选择题,在不提供影像学图片的情况下测试ChatGPT,发现后者能通过美国和欧洲放射学委员会水平考试,具体表现为针对低阶思维问题和临床管理问题回答良好,而对影像学结果描述、计算和分类及概念应用的高阶思维问题表现欠佳。


经过209项临床医疗指南训练后,ChatGPT3.5-Turbo模型成为能够适应上下文进行聊天的机器人,即accGPT;在50例病例测试中,accGPT 的处理效率优于ChatGPT3.5和ChatGPT4.0模型,其诊断一致性和准确率均与医师相当,可大幅缩减时间和人力成本。GLLM 同样能够针对乳腺癌、肝癌及前列腺增生等进行相关医学回答,但GPT3.5、GPT4.0和GoogleGemini在生成结果的准确性和可靠性方面存在差异,如ChatGPT4.0 在乳腺癌研究中最佳(95.00%,57/60),Gemini在肝癌研究中最佳(40.00%,8/20),ChatGPT4.0则在前列腺增生研究中最佳(97.78%,44/45)。


上述结果提示,模型表现差异与样本量较小有关;应用GLLM 生成医学知识和解释时,需要根据具体需求适当选择模型。GLLM 基于开发商数据库资源生成医学知识文本,研发新技术需要向资源库快速更新、精确关联生成需求及高阶推理能力优化等方面努力。GLLM 的快速读取、检索和反馈能力用于超声医学领域具有很大潜力。超声医学面临临床需求大、操作专业性强、且医患沟通难度高的现状。


GLLM 可作为教学工具,协助医师和医学生完成自助或互动式学习,以缩短培训周期,加速填补医疗资源缺口。GLLM可作为医疗辅助工具,针对多发病、常见病,辅助医师作出诊断,回答患者关于疾病风险、治疗及预后等的疑惑,提高临床工作效率;针对罕见、低发病率或地域性疾病给予医师提示与补充,以降低漏、误诊率。患者、家属及医学爱好者可通过GLLM 随时随地获取医学知识帮助,有助于提高医学知识对于整个社会的覆盖度、接受度和认知度。


2. GLLM 生成结构化超声报告


结构化报告将自由文本报告转换为标准化格式,以提高超声诊断的规范性和一致性,便于快速提取核心信息。超声检查门诊量巨大,大型医院超声医师每日需要独立完成70~90例超声扫查并书写报告,且不同医师之间能力和经验存在差异,导致报告中经常出现结构复杂、逻辑不清、描述错误、表达歧义等问题,给质控工作和解释沟通带来巨大负担。GLLM 适用于生成结构化超声报告。使用时应掌握模型特定功能,并根据需要进行优势选择。高年资医师审核生成结构化超声报告是必不可少的步骤。


ChatGPT 模型能快速将自由文本化超声报告生成为结构化报告,熟练解决报告结构、专业术语和表达不清等问题,增强其可读性。值得注意的是,最新版本模型在生成文本性能方面不一定表现更佳。JIANG等发现,ChatGPT3.5可生成74.26%(202/272)令人满意的结构化报告,这一数字在ChatGPT4.0则仅为25.37%(69/272);因配置不同,ChatGPT3.5擅长文本阅读和生成,而ChatGPT4.0侧重于增强图文集成能力。不同应用场景应选取不同模型,适用场景下,特定功能增强模型表现可优于无特定功能模型。


GPT4.0模型支持基于文本和图像(GPT4v)进行多模态复杂推理,对生成内容限制较少;而Microsoft公司基于GPT4.0框架的Bing模型专注搜索、增强与实时整合信息,再经强过滤而生成内容。以之处理100份乳房超声结构化报告,GPT4.0生成结构化报告(88%vs.55%)、给出正确乳腺影像报告和数据系统(breast imaging reporting and datasystem,BI-RADS)类别(54%vs.47%)、提供合理管理建议(81%vs.63%)及预测良恶性结局的能力[曲线下面积(areaunderthecurve,AUC):0.9317vs.0.8177]均显著优于Bing模型(P 均<0.001),但二者表现均显著逊于高年资超声医师。此外,GLLM 还可生成结构化电子医疗病例和质控影像学报告。


3. GLLM 用于分级诊断和管理疾病


常见影像学深度学习模型是用于读取图像、反馈结果的辅助工具,通常接受以一定数量声像图进行的训练,以获得仅限于某一疾病的诊断或分级功能,为此需要医师人工勾画ROI,为模型提供准确的学习资料。GLLM 是基于文本训练的交互式深度学习模型,其设计初衷是开发能够进行自主学习及交互的机器人;基于各开发公司的庞大数据库资源和搜索引擎、接收客户特定训练数据,也可链接互联网数据库资源进行分析,获取医学知识迅速、覆盖疾病较广、应用灵活性好、群体适用性强;其劣势是大多不能直接读取图像,需要人工输入或经其他工具转化。


目前GLLM 用于超声医学研究主要集中于诊断和管理疾病,通常需要评估模型诊断疾病的一致性、准确性及与医师诊断结果进行比较。陈佳慧等联合应用超声造影VueBox软件定量参数和ChatGPT3.5生成结果,用于鉴别中国甲状腺影像报告和数据系统(Chinese thyroid imaging reporting and data system,C-TIRADS)4类甲状腺良、恶性小结节,其诊断敏感度为100%,特异度为63%,准确率为89%,AUC 为0.82[95%CI(0.71,0.93)],优于医师诊断结果(P均<0.05)。


另有研究发现ChatGPT3.5生成的多次诊断之间一致性(Kappa值为0.36~0.68)和准确率(72.41%)均欠佳。ChatGPT4.0和Bard模型生成的甲状腺结节诊断一致性的Kappa值为0.65~0.86、准确率为86%和82%、敏感度为95%和87%、AUC为0.83 和0.81,与高年资医师水平相当。ChatGPT-4o与Claude3-Opus生成的诊断与病理结果的一致性Kappa值为0.12和0.03,AUC 为0.57和0.52,诊断效能不及低年资医师。


GLLM 基于甲状腺超声特征生成TI-RADS 分类具有可行性,但可靠性不足,与医师诊断结果存在较大差距。用于乳腺结节超声报告研究时,ChatGPT3.5、ChatGPT4.0及GoogleBard基于超声特征生成的BI-RADS分类具有一致中等性,ChatGPT4.0准确率最高,为73.6%。由于GLLM 与超声医师判读结果的一致性较差,BI-RADS分类发生升级、降级病变占比高达25.5%,这种不稳定性将增加患者焦虑和对医院的不信任感。当前GLLM 可用于研究疾病诊治,但与临床实际应用尚存在一定距离;现有探索性研究样本量多较小,且模型更迭也将在很大程度上影响生成结果一致性。


4.展望


GLLM 在超声医学尝试性研究中表现尚可,但仍面临诸多挑战。首先,现有研究样本量常为数十或百,对于AI工具而言数量过少、来源单一、疾病寡单,导致针对GLLM 用于超声医学的泛化性和稳定性存在争议,需要通过开展大样本、多中心联合研究以覆盖更多器官、更多疾病,融合多模态超声(如超声造影、超声弹性成像)和临床数据(如血液指标),系统综合评价GLLM 用于超声医学的价值,填补多维度空白。如何获取和使用模型训练所依赖的海量医疗数据,以及如何保护患者隐私对于伦理审查提出重大挑战;当前亟需加速形成和推进AI在医疗领域的伦理制度和监管机制。


针对减少人工识别声像图的主观差异、将图像直接作为输入信号传递给GLLM 已有初步探索。作为OpenAI开发的支持多模态输入版本的GPT4.0模型,GPT4Vision可对用户输入图像进行分析;其在识别代谢功能障碍相关脂肪肝疾病声像图方面具有解释文本和视觉数据可能。串联使用前端融合计算机图像辅助诊断软件与GLLM、或构建疾病卷积神经网络诊断模型直接与GLLM 联用以减少人工参与环节,均可提高GLLM 生成超声诊断结果的一致性和准确性。


借鉴GLLM 的底层技术Transformer架构,联合深度学习算法,从全局和局部双通道提取声像图特征和超声报告、临床数据参数并完成图文特征融合用于智能诊断桥本甲状腺炎,为应用大模型技术提供了新思路。GLLM 在文本生成和理解关联方面具有显著技术优势,但存在图像视频处理短板、医学知识关联错误等问题,需要深入探索融合数据生成模型、混合架构设计及人机协作等可行性。


来源:陈璐,张明博,罗渝昆.生成式大语言模型用于超声医学进展[J].中国医学影像技术,2025,41(06):1005-1008.DOI:10.13929/j.issn.1003-3289.2025.06.034.


(本网站所有内容,凡注明来源为"医脉通",版权均归医脉通所有,未经授权,任何媒体、网站或个人不得转载,否则将追究法律责任,授权转载时须注明"来源:医脉通"。本网注明来源为其他媒体的内容为转载,转载仅作观点分享,版权归原作者所有,如有侵犯版权,请及时联系我们。)
1
收藏
添加表情
全部评论
我要投稿
发表评论
扫码分享

微信扫码分享

回到顶部