作者:陈 璐,
生成式大语言模型(generative large language model,GLLM)是基于深度学习的自然语言处理模型,以强大的文本生成能力为特点,兼具语言理解、逻辑推理和多模态交互功能,是人工智能(artificial intelligence,AI)领域的变革性力量之一。自2022年11 月OpenAI 公司推出ChatGPT 3.5 以来,GLLM 获得关注。随后的ChatGPT4.0,Claude3-Opus和ChatGPT4o等模型在文本、语音和图像处理集成化,以及模仿人类认知功能方面的能力相继得到显著提升,实现了多模态、高智能化的逐步突破。
GLLM 在超声医学领域备受关注,相关研究聚焦于影像学知识问答、生成结构化报告、诊断和管理疾病等方向。超声医学广泛用于疾病诊疗全程,但结果高度受主观因素影响而具有变异性。自动生成和解释超声报告是临床难题。GLLM 强大的语义理解和文本生成能力为此提供了新的解决方案。本文就GLLM 用于超声医学研究现状进行综述。
1. GLLM 用于影像学知识问答
基于接入的数据库资源,GLLM 可在未经专业医学知识训练的前提下快速准确地生成医学相关问题答案。BHAYANA 等设计150余道难易程度适中的选择题,在不提供影像学图片的情况下测试ChatGPT,发现后者能通过美国和欧洲放射学委员会水平考试,具体表现为针对低阶思维问题和临床管理问题回答良好,而对影像学结果描述、计算和分类及概念应用的高阶思维问题表现欠佳。
经过209项临床医疗指南训练后,ChatGPT3.5-Turbo模型成为能够适应上下文进行聊天的机器人,即accGPT;在50例病例测试中,accGPT 的处理效率优于ChatGPT3.5和ChatGPT4.0模型,其诊断一致性和准确率均与医师相当,可大幅缩减时间和人力成本。GLLM 同样能够针对
上述结果提示,模型表现差异与样本量较小有关;应用GLLM 生成医学知识和解释时,需要根据具体需求适当选择模型。GLLM 基于开发商数据库资源生成医学知识文本,研发新技术需要向资源库快速更新、精确关联生成需求及高阶推理能力优化等方面努力。GLLM 的快速读取、检索和反馈能力用于超声医学领域具有很大潜力。超声医学面临临床需求大、操作专业性强、且医患沟通难度高的现状。
GLLM 可作为教学工具,协助医师和医学生完成自助或互动式学习,以缩短培训周期,加速填补医疗资源缺口。GLLM可作为医疗辅助工具,针对多发病、常见病,辅助医师作出诊断,回答患者关于疾病风险、治疗及预后等的疑惑,提高临床工作效率;针对罕见、低发病率或地域性疾病给予医师提示与补充,以降低漏、误诊率。患者、家属及医学爱好者可通过GLLM 随时随地获取医学知识帮助,有助于提高医学知识对于整个社会的覆盖度、接受度和认知度。
2. GLLM 生成结构化超声报告
结构化报告将自由文本报告转换为标准化格式,以提高超声诊断的规范性和一致性,便于快速提取核心信息。超声检查门诊量巨大,大型医院超声医师每日需要独立完成70~90例超声扫查并书写报告,且不同医师之间能力和经验存在差异,导致报告中经常出现结构复杂、逻辑不清、描述错误、表达歧义等问题,给质控工作和解释沟通带来巨大负担。GLLM 适用于生成结构化超声报告。使用时应掌握模型特定功能,并根据需要进行优势选择。高年资医师审核生成结构化超声报告是必不可少的步骤。
ChatGPT 模型能快速将自由文本化超声报告生成为结构化报告,熟练解决报告结构、专业术语和表达不清等问题,增强其可读性。值得注意的是,最新版本模型在生成文本性能方面不一定表现更佳。JIANG等发现,ChatGPT3.5可生成74.26%(202/272)令人满意的结构化报告,这一数字在ChatGPT4.0则仅为25.37%(69/272);因配置不同,ChatGPT3.5擅长文本阅读和生成,而ChatGPT4.0侧重于增强图文集成能力。不同应用场景应选取不同模型,适用场景下,特定功能增强模型表现可优于无特定功能模型。
GPT4.0模型支持基于文本和图像(GPT4v)进行多模态复杂推理,对生成内容限制较少;而Microsoft公司基于GPT4.0框架的Bing模型专注搜索、增强与实时整合信息,再经强过滤而生成内容。以之处理100份乳房超声结构化报告,GPT4.0生成结构化报告(88%vs.55%)、给出正确乳腺影像报告和数据系统(breast imaging reporting and datasystem,BI-RADS)类别(54%vs.47%)、提供合理管理建议(81%vs.63%)及预测良恶性结局的能力[曲线下面积(areaunderthecurve,AUC):0.9317vs.0.8177]均显著优于Bing模型(P 均<0.001),但二者表现均显著逊于高年资超声医师。此外,GLLM 还可生成结构化电子医疗病例和质控影像学报告。
3. GLLM 用于分级诊断和管理疾病
常见影像学深度学习模型是用于读取图像、反馈结果的辅助工具,通常接受以一定数量声像图进行的训练,以获得仅限于某一疾病的诊断或分级功能,为此需要医师人工勾画ROI,为模型提供准确的学习资料。GLLM 是基于文本训练的交互式深度学习模型,其设计初衷是开发能够进行自主学习及交互的机器人;基于各开发公司的庞大数据库资源和搜索引擎、接收客户特定训练数据,也可链接互联网数据库资源进行分析,获取医学知识迅速、覆盖疾病较广、应用灵活性好、群体适用性强;其劣势是大多不能直接读取图像,需要人工输入或经其他工具转化。
目前GLLM 用于超声医学研究主要集中于诊断和管理疾病,通常需要评估模型诊断疾病的一致性、准确性及与医师诊断结果进行比较。
另有研究发现ChatGPT3.5生成的多次诊断之间一致性(Kappa值为0.36~0.68)和准确率(72.41%)均欠佳。ChatGPT4.0和Bard模型生成的
GLLM 基于甲状腺超声特征生成TI-RADS 分类具有可行性,但可靠性不足,与医师诊断结果存在较大差距。用于乳腺结节超声报告研究时,ChatGPT3.5、ChatGPT4.0及GoogleBard基于超声特征生成的BI-RADS分类具有一致中等性,ChatGPT4.0准确率最高,为73.6%。由于GLLM 与超声医师判读结果的一致性较差,BI-RADS分类发生升级、降级病变占比高达25.5%,这种不稳定性将增加患者焦虑和对医院的不信任感。当前GLLM 可用于研究疾病诊治,但与临床实际应用尚存在一定距离;现有探索性研究样本量多较小,且模型更迭也将在很大程度上影响生成结果一致性。
4.展望
GLLM 在超声医学尝试性研究中表现尚可,但仍面临诸多挑战。首先,现有研究样本量常为数十或百,对于AI工具而言数量过少、来源单一、疾病寡单,导致针对GLLM 用于超声医学的泛化性和稳定性存在争议,需要通过开展大样本、多中心联合研究以覆盖更多器官、更多疾病,融合多模态超声(如超声造影、超声弹性成像)和临床数据(如血液指标),系统综合评价GLLM 用于超声医学的价值,填补多维度空白。如何获取和使用模型训练所依赖的海量医疗数据,以及如何保护患者隐私对于伦理审查提出重大挑战;当前亟需加速形成和推进AI在医疗领域的伦理制度和监管机制。
针对减少人工识别声像图的主观差异、将图像直接作为输入信号传递给GLLM 已有初步探索。作为OpenAI开发的支持多模态输入版本的GPT4.0模型,GPT4Vision可对用户输入图像进行分析;其在识别代谢功能障碍相关
借鉴GLLM 的底层技术Transformer架构,联合深度学习算法,从全局和局部双通道提取声像图特征和超声报告、临床数据参数并完成图文特征融合用于智能诊断
来源: