作者：明键光，蒋传路，沈若菲，胡靖泽，蔡金全，哈尔滨医科大学附属第二医院神经外科；刘美辰，哈尔滨医科大学现代教育技术中心
智能多模态人机交互技术是多模态人机交互、人工智能（artificial intelligence，AI）和虚拟人交互技术等联合的成果。如何将其应用于神经外科研究生科研学习，充分调动学生主观能动性，解决神经外科研究生创新程度不足和学习效率低的问题；如何将临床知识与科研创新相结合，培养学生成为一名具备一流科研能力且掌握临床技能的神经外科医师，这是值得探讨的问题。
1. 智能多模态人机交互
1.1 多模态人机交互
多模态人机交互技术通过一系列创新手段，实现用户与虚拟环境之间的自然、流畅交流。这些技术包括但不限于虚拟现实（virtual reality，VR）、增强现实（augmented reality，AR）、混合现实（mixed reality，MR）、语音识别与合成、手势识别、面部表情识别等。多模态人机交互技术支持多种交互方式，如语音、手势、面部表情等多模感知技术，用户能够以更加自然的方式与虚拟世界进行互动。通过VR、AR等技术，用户可身临其境感受虚拟环境，获得高度沉浸感和真实感。
此外，多模态人机交互技术结合AI 算法，能够自动理解用户意图和需求，提供更加智能化的服务和支持。例如SCHRADER 和KALYUGA通过利用学生在使用平板电脑过程中的笔压力参数，评价学生情绪状况。多模态人机交互技术可通过使用者产生的话语、表情、手势、身体姿态等外在行为表征数据和呼吸、心跳、
1.2 AI
AI 是一门迅速发展的技术科学，旨在模拟、延伸和扩展人类的智能能力。通过机器学习、深度学习等核心技术，AI 使计算机系统能够学习、理解、推理、决策并自适应地执行任务。这些任务涵盖从简单图像识别到复杂医疗诊断等多个领域。AI 技术发展为人机交互提供强大支持。AI 通过模拟人类的智能行为，使计算机系统能够更好理解人类需求和意图，从而实现更自然、高效的交互方式。
AI 与多模态人机交互技术相结合，其驱动的虚拟人可提高学生参与度和满意度；再结合AI 自动化任务管理，使得教育工作者能够腾出时间和资源进一步提高学生参与度，最终提升学生学习效率。
1.3 虚拟人交互
虚拟人交互技术是一种利用计算机技术和AI 技术，通过模拟人类的外貌、声音、动作及情感等特征，实现与用户进行自然、智能对话交互的前沿技术。其主要包括语音识别、自然语言理解、语音合成和虚拟人驱动四部分。在线上教育等领域，虚拟人能够为学生提供教学反馈，帮助学习者建立与虚拟人之间的社会联系并营造有趣的学习环境，对学习过程感知产生积极影响，也被称为虚拟教师。虚拟教师可通过灵活的形象设计，在提升用户观感和舒适度的同时，充分引起学习者注意，激发学习兴趣。虚拟教师与智能多模态人机交互技术相结合，通过分析学员的学习数据，为其提供个性化学习内容和辅导，满足不同学生的需求。
2. 神经外科研究生科研能力培养现状
神经外科是一门涉及解剖学、生理学、病理学等多学科交叉的学科，研究范畴包括先天性发育异常、外伤、感染、肿瘤、血管病变和遗传代谢障碍、功能障碍性疾病等，学科学习时间跨度较长。结合当前神经外科研究生教育现状，培养一批能够熟练运用临床诊治技能且具有临床医学科研能力的复合型人才，已成为神经外科研究生教学的主要目标。但传统科研教学方式存在各种问题，制约着神经外科研究生学习和发展。
2.1 教育资源分布不均
研究表明：科研教学资源，例如实验室设备、科研资金和优秀指导老师等，主要集中在经济发达的省市区。例如，经济发展水平最高的华东地区，其高等医学院校数量是西北地区4 倍、华南地区3.4 倍。
欠发达地区的实验室、研究中心和临床试验基地的数量和质量，无法满足所有学生需求。首先，科研设备和技术支持对于许多前沿医学研究至关重要，这些平台缺乏会阻碍学生接触和学习科研技术，限制他们进行科研实验的机会。其次，科研项目需要资金支持，但资金有限会导致一些有潜力的研究项目无法启动或进行，影响学生科研参与度。
科研训练机会主要集中在少数优秀学生或特定项目中，大多数学生难以获得充分科研训练机会。再次，图书馆藏书、数据库访问权限、学术期刊订阅等学术资源对于科研至关重要，资源不足会限制学生获取信息和知识的能力。然后，好的科研训练离不开优秀导师的指导。但优秀科研导师数量有限，且导师科研指导能力参差不齐，难以为每个学生提供充分关注和高质量科研指导。
2.2 科研与临床之间的矛盾
神经外科研究生偏重于临床技能培养及训练，轻视科研能力及技能学习。临床医学生所面临的关键问题是科研与临床学习的时间分配问题。他们需要完成繁重的临床实习任务，难以抽出足够时间参与科研活动。学生在科研方面投入时间得不到保障，使得科研训练被压缩或边缘化。临床研究生即便有意提高科研能力，但由于每日大量的临床工作，大多数学生有心无力。
与此同时，多数研究生导师不仅是所在学科的教授和研究人员，也是所在医院科室的临床医生，每天均需处理临床工作，如日常诊疗、查房、手术等，这使得导师们没有足够时间和精力亲自指导学生进行科研学习训练。临床研究生没有时间进行科研训练，导师没有时间指导学生进行科研训练。两者相加，更突显智能多模态人机交互技术应用于神经外科科研教学的必要性。
2.3 科研创新能力不足
神经外科研究生对科研理解存在局限性，创新能力不足。首先，科研实践与理论知识脱节，并具有严重滞后性。课程内容偏重理论知识，缺乏与实际临床和科研相结合的实践操作，导致学生难以将理论知识应用于实际问题，加之缺乏充足的身心准备，最终导致其缺乏对科研的信心，对科研望而却步。其次，医学领域知识更迭迅速，教材内容无法及时反映最新科研成果，限制学生创新思维和知识更新能力。最后，科研训练缺乏系统性和连续性。神经外科研究生因精力限制，无法全身心进行科研能力及技能学习，导致在不同阶段的科研训练缺乏衔接和递进，难以获得完整的科研能力培养路径。
3. 多模态交互技术提高神经外科科研教学水平
培养神经外科研究生科研意识，提升科研素质是神经外科科研教学的主要目标。然而，绝大部分神经外科研究生依旧接受着传统科研训练。因此，我们应结合我国神经外科研究生科研教学现状，重视培养神经外科研究生的科研意识和处理问题的科研思维，适时引入智能多模态交互技术的教学理念和方法，逐步将多模态交互技术应用于神经外科科研教学。
3.1 虚拟实验室
虚拟实验室是交互技术在神经外科科研教育的重要应用之一。首先，通过智能多模态交互技术，学校可创建虚拟实验室，让初学者在安全环境下学习实验操作，提高学生学习的安全系数，避免真实实验存在的危险：如有毒有害物品、易燃易爆物品等。其次，虚拟实验室的建立极大程度上缓解科研资源紧张的现状，使科研学习不再受时空限制，减少学习初期实验用品消耗和器材损耗。
此外，虚拟实验室具有完善的评价体系。除学生实际参与率及使用时间、学习结束后的评价环节及成绩分布情况外，指导老师可通过平台对学生实验完成情况定性评价分析，确保每个学生能够得到同等关注，保证学生学习质量。虚拟实验室利用沉浸式空间虚拟仿真技术，模拟真实教学场景，对提高学生参与度和实验教学效果发挥重要作用。
3.2 智能在线教育
智能多模态交互技术为基础的在线教育平台，给学生提供更加丰富的学习资源和学习体验。学生可通过VR技术参加在线课程，与教师和同学进行实时互动和交流。此外，每一位学生都是一个独立个体，在学习过程中遇到的问题不尽相同。平台可通过大数据技术收集并分析每一位学生的学习及考核数据，为每一位学生提供定制的学习计划，再通过虚拟教师一对一给学生提供个性化学习内容和辅导，进行专项训练，满足学生差异化需求，提高学习效率。如上海医科大学研究发现“AI辅助教育模式”，不仅有助于学生创新能力培养，还打破时间和空间限制，提高教育可及性与互动性。
3.3 大数据分析
大数据分析在医学科研及教育领域的应用越来越普遍。AI 不但将每个用户的学习数据进行整理和分析，也为实验数据的分析和处理提供新方法。通过AI 对大数据进行线上分析与总结，科研人员可更加直观地观察和分析实验数据，提高科研效率和准确性。以多元组学数据为特征的神经系统肿瘤相关大数据：《成人弥漫性
运用AI 对繁杂临床数据适当地分析处理，完整获取疾病状态及疾病发生进展过程等相关信息，从而指导临床实践。
3.4 临床与科研相结合
临床是所有科研思路的来源，一线临床服务是所有科研实践活动的最终目的，临床与科研应是相辅相成、互根互用的关系。结合当前神经外科研究生教育现状，培养一批能够熟练运用临床诊治技能且具有临床医学科研能力的复合型人才已成为神经外科研究生教学的主要目标。对神经外科研究生而言，导师应让其明白临床与科研之间是相辅相成的关系，而非矛盾对立的关系。在培养神经外科研究生的过程中，导师不仅要注重其综合性科研能力，分析处理大量信息的能力，分析判断特殊情况并作出决策的能力及实践行动能力等的提升，还要培养学生临床辩证思维，使学生实现发现问题、分析问题、解决问题的科研思维与临床诊治思维有机结合。
在这个过程中，智能多模态人机交互技术能够起到良好的调和作用，由浅入深培养学生科学的思辨能力以及创造能力，完美解决二者矛盾的同时，完成“临床”与“科研”思维的结合。
4. 智慧教室
智能多模态人机交互应用于教学领域，旨在通过结合多种交互方式（如语音、图像、手势等）来提升教学效果和用户体验。许多高校和研究机构都在积极研发相关技术，并将其应用于教学领域。山东大学联合南阳理工大学共同研发出功能近红外光谱（functional near-infrared spectroscopy，fNIRS）和眼动追踪相结合的人机交互训练和评估系统。该系统通过AI 技术分析用户的多项生理指标，直观监测用户的认知负荷，进而优化人机交互系统，减轻用户压力。
如今，哈尔滨医科大学及附属第二医院已初步完成将智能多模态人机交互技术应用于神经外科研究生教育教学活动的试点任务。其中“智慧教室”是哈尔滨医科大学将智能多模态人机交互技术应用于教育教学的实践产物。智慧教室拥有多媒体互动教学系统、反转课堂、智慧教室自动跟踪录播系统等先进技术，并具有AI 学情分析和教学数据自动收集两大功能。
同时，哈尔滨医科大学及附属第二医院还将互联网医院临床实践教学与智慧教室相结合，通过学生满意度调查和研究生期间执业医师考试通过率对教学效果进行评价。但与国内外其他领域智能多模态人机交互技术的应用成果相比，现版本的智慧教室仍存在不足之处。
首先，技术革新面临的首要问题便是多模态数据融合。多模态交互技术需要融合处理来自不同模态的数据，如文本、图像、音频等。如何统一各个模态数据的不同特性和格式，并在剔除延迟、错配的基础上精准解析联合语义，已成为当下技术革新的关键。
其次，多模态交互技术涉及大量个人数据（如语音、图像等），需要大力加强学员数据及隐私保护，制定并完善相关制度，全力避免因数据泄露或滥用对学生造成侵害。再次，师生对于新技术的接受度也是影响智慧教室开展的重要因素。部分老师对新技术的认知不足，存在抵触情绪。因此，应该对教师提供必要的培训和支持，通过考核等方式增加师生对新技术的接受程度。
5. 结语
综上所述：全方面发展综合能力对于神经外科研究生而言，是其能否顺利完成本专业工作的必要基础。在神经外科研究生培养过程中，必须将临床诊治技能培养和科研创新能力培养结合起来。与神经外科研究生传统科研教学相比，以智能多模态人机交互为基础的科研教学模式，如哈尔滨医科大学应用的智慧教室，具有观察或统计指标多样、个体化、不同领域融合深入等优势，但仍存在较大提升空间。
因此，在神经外科研究生培养过程中，应该加大对智能多模态人机交互技术的资金与技术投入，完善智能多模态人机交互技术的应用场景，如虚拟实验室、互联网医院临床实践教学平台和在线教育平台等，并通过考核等方式进行综合教学评价。
同时，要加强师生隐私保护及相关技术指导与支持，为师生提供舒适安全的教育及学习环境。智能多模态人机交互技术与神经外科科研教学有机结合，有利于神经外科研究生学习实验技能、培养资料整理分析能力及科研意识，使神经外科研究生具备较高科研素养，能够高效适应当代医学各学科融合的发展现状，最终成为具备推动神经外科学发展能力的医学精英。
来源：明键光,刘美辰,蒋传路,等.智能多模态人机交互驱动神经外科科研教学的思考[J].中国微侵袭神经外科杂志,2025,29(01):59-62.
(本网站所有内容，凡注明来源为“医脉通”，版权均归医脉通所有，未经授权，任何媒体、网站或个人不得转载，否则将追究法律责任，授权转载时须注明“来源：医脉通”。本网注明来源为其他媒体的内容为转载，转载仅作观点分享，版权归原作者所有，如有侵犯版权，请及时联系我们。)
