作者:张可心 刘书行 安阳,北京大学第三医院成形外科
整形外科手术涉及复杂的解剖结构和血管走行,因此具有较高的手术风险,且术后对美学效果又有比较高的要求,所以想要获得良好的手术效果,对术区定位的精确性提出了极高的要求。手术导航是一种定位精确,具有实时可视化特点的辅助工具,能够解决手术定位不够精确的问题,与增强现实技术(augmented reality,AR)的结合可使图像叠加于真实环境,为医师提供了更加精确方便的手术指导,在整形外科领域具有广泛的应用场景。基于此,笔者就近年来与AR结合的手术导航在整形外科中的应用进展作一综述。
1基于AR的手术导航实现方式
手术导航技术通过重建患者的解剖三维结构,可以更好地辅助医师的手术,AR可将虚拟生成的图像叠加于真实环境之中,其一般工作流程如图1所示。实现AR技术需要3个核心模块:追踪模块、匹配模块以及显示模块。其中匹配技术最为关键,大体可以分为利用嵌入式螺钉、咬板、皮肤的标记匹配和根据牙列等较为恒定的解剖标志进行匹配的无标记匹配。除了使用平板或智能手机,大部分外科领域的AR使用可穿戴设备显示虚拟图像,如谷歌公司的GoogleGlass,微软公司的Holo Lens,索尼公司的Smart Eyeglass以及爱普生公司Moverio BT-20等产品[1]。2019年,有研究[2]在术前选取手术视野体表的3个点作为标记点,将全息图中的3个标记点分3步与现实中的3个点进行匹配,提出了一种手动操作匹配的方法。也有学者[3]通过Holo Lens,在面部标记14个红色标记与1个蓝色标记,将红色标记在面部擦除,但保留其在全息图上的影像,通过参考蓝色标记,将红色标记重新绘制于人体表面,经过重复实验验证该方法可为面部软组织的定位提供依据,但面部外缘的定位误差要大于面部中线周围的定位误差,仍需继续探索更加精确的定位方法。
2结合AR的手术导航
在整形外科的应用手术导航在整形外科的应用通常可以被概括为术前、术中、术后3个方面。在术前进行规划可以预测手术的结果、模拟手术的条件、提前探查穿支皮瓣中的血管走行;由于术前能够看到可视化的预知结果,手术导航又可以减少患者焦虑、不安等心理问题[4]。在手术过程中,AR需要医师使用Hololens等设备在操作时显示虚拟信息并投射到真实场景之中,已广泛应用于颅颌面外科的截骨术中,已被证实具有更高的安全性和准确性[5],加之术前规划的合理利用,在术中也可以减少手术时间[6]。除此之外,AR还可以与机器人辅助手术和内窥镜手术相结合,方便可视化底层结构,将实时图像叠加于内窥镜图像,帮助医师识别对手术造成风险的解剖结构[7]。也有学者[8]开发出应用程序,使用Hololens实时可视化超声图像,术后可以通过虚拟平面与术后图像的叠加进行手术效果的评估。

2.1在颅颌面部的应用颅颌面部骨骼小,结构复杂,走行深入,一旦发生骨折会对手术造成复杂的影响。由于手术导航能够帮助可视化复杂结构,近年来,手术导航越来越多地应用于颅颌面外科。
过去已有报道[9-11]采用计算机辅助成像进行虚拟的术前设计,辅助下颌骨切除、眶底重建、和面部女性化等手术的进行。2019年,有学者[12]比较研究了AR技术与传统的导航技术,认为AR技术定位与导航技术定位相似,且不需要侵入性配准设备,并提供了实时的动态图像引导,是清除颅颌面异物的新方法。2021年,Koyachi等[13]研究了采用CAD/CAM手术导板和混合现实(mixed reality,MR)手术导航进行Le FortⅠ截骨术的准确性,并验证其术前计划的可重复性;结果表明仅使用MR的手术导航很难实现,但可以作为手术过程的检查设备,将其与CAD/CAM手术导板结合使用辅助手术进行。2021年,Alshomer等[14]提出,将术前计算机断层扫描的图像以及3D重建扫描图像上传至智能手机,使用应用程序就可以将图像叠加于患者头部用于颅面重建。2021年,有学者[15]开发了一种AR导航系统应用于颅面纤维发育不良重塑手术,在术中显示出虚拟图像辅助完成手术,并将术后的CT扫描图叠加于术前的设计图用来评估手术的准确性。
2022年,有学者[5,16]对比了传统光学导航和AR系统导航在颧骨复合体骨折手术中的效果,得出了结论:传统的光学导航方法需要在术中逐点地确认骨折部位,且需要在手术部位和手术界面不断切换,耗时复杂;佩戴Holo Lens的AR导航可以切换虚拟信息的显示,手势和语音的识别交互也更符合手术室无菌操作的要求;同时此研究也提出了在实际操作中使用可穿戴设备显像存在的一些问题,如图像的动态稳定性还需要提高,设备的自重较大,长时间使用会造成医师的疲劳。2023年,有学者[17]验证了基于轮廓配准的AR系统在颌骨手术中的可行性和准确性,并比较了AR系统与手术导板的效果,认为AR系统在术中切实有效,达到了与手术导板相似的效果,并可以规避手术导板体积大、需要根据每位患者的特点定制,不易改变形状的缺点。有研究[18]根据AR是否可以从医师的角度叠加于现实模型中,将AR系统分为s AR(simple AR)和nAR(navigated AR)两种,s AR将导航数据直接投影于头戴设备中,nAR将截骨轨迹与解剖结构图像等内容叠加在头骨模型上,使外科医师能够直观感知手术场景。结果表明两种AR都可以辅助颌面手术。见表1。
手术导航与AR结合在整形外科广泛地被应用于颅颌面部的手术,其在颌面肿瘤切除、颌面正畸修复等颅颌面外科均有应用,现在越来越多的研究显示,结合AR的手术导航在准确性、手术时间等方面均优于传统手术导航,具有很大潜力。
2.2在乳房重建的应用采用腹壁下动脉穿支(deep inferiorepigastric perforator,DIEP)皮瓣进行自体乳房重建已被公认为基于穿支游离皮瓣乳房重建的标准。2023年,有研究者[19]提出,Hololens有利于提高DIEP皮瓣的精确解剖速度,缩短手术时间,尽管需要进一步的研究才能使这项技术指导临床决策,但作者的研究结果显示了该项技术的可行性。
Nicklaus等[20]将3D摄影与AR技术相结合,通过Hololens可视化自体乳房重建期间的乳房切除标本,帮助外科医师在重建过程了解更多有关乳房标本的信息,从而更准确地塑造皮瓣结构。2023年,有研究者[21]利用AR技术可视化DIEP皮瓣,首先使用CTA确定皮下血管走行,再佩戴Hololens,在表皮标记血管位置,最后使用彩色多普勒超声验证结果。结果表明,将AR技术应用到DIEP重建中可以可视化相关血管解剖结构,从而提高血管识别准确性。
2.3在血管可视化的应用已有研究在术中利用全息镜头可视化DIEP皮瓣血管,开发了一套工作流程,包含相关解剖结构图像的采集、将解剖数据导入Hololens程序、实时跟踪和可视化四个步骤,并验证了其可行性[22]。利用该技术可以帮助医师更轻松地完成皮瓣设计,但该研究也同时提出了这项技术的局限性:在前额、背部、腹部、大腿等
2.4在教学与远程医疗方面的应用在手术室之外,AR在教学与远程医疗方面的应用进展很快,不同于使用书本、物理模型或解剖进行教学的传统模式,三维的可视化教学可以帮助学生更好地理解头颅部复杂的解剖结构,甚至开发出
2021年,COVID-19流行给整形外科的面对面教学与培训带来了挑战,有研究[29]提出搭建AR平台可以解决这一问题。该平台可以多次回顾学习资料,并通过“视频日志”评估学习能力与进展。也有研究[30]表明,使用AR设备学习解剖可以提高学生学习的积极性;AR工具有助于提高学生对于解剖关系的理解,并为学生提供了沉浸式的学习体验。在远程医疗方面,2017年,一项研究基于AR系统开发了一种新的远程呈现应用程序,使用Holo Lens来促进和加强远程医疗培训,受试者能够在特殊情况下进行即时学习,也可以使远程指导者了解更多的现场信息,这也许可以缓解欠发达地区医疗资源不足的问题[31]。Greenfield等[32]报道了1例通过AR技术远程指导手部重建手术案例,远程医师通过设备画出手部重要解剖结构辅助当地医师完成手术。
除此之外,AR还在与整形外科有关的其他领域得到应用:有研究[33]利用Hololens进行动脉吻合,验证了显微外科视野可视化的可行性;Schmale等[34]报道AR已经应用于内窥镜鼻窦手术,帮助在内窥镜图像上显示虚拟的手术路径;同时,AR技术也应用于耳重建手术,使用Hololens确认肋软骨支架转移后重建的耳郭形状[35]。
3小结与展望
本文讨论了结合AR技术的手术导航在整形外科领域的应用,研究集中在颅颌面部、乳房重建、血管可视化、教学和远程医疗几方面。AR技术方便了医师在术中可视化患者的重要解剖结构,优化术中操作,提高手术的安全性和医患双方的信心,并缩短手术时间。但也存在着一些缺陷,需要更加深入的研究解决。如配准的精确性仍需继续提高,医师需要时间成本学习操作相关的导航设备,缺乏在整形手术中配套使用的软件,需要开发内部软件,增加了经济成本。
在科技高速发展的当今时代,包括AR在内的技术逐渐在医学领域大展身手,在整形外科领域为医师提供全面的信息。AR技术与其他新兴技术的结合展现出整形手术新的发展方向。如3D打印技术可以帮助患者作出更好的手术决策[36],并有研究[37]提出,可以通过AI技术对3D打印过程进行计算优化。尽管目前AR技术的应用仍旧在探索尝试的阶段,但相信随着技术的进步,AR技术一定会以其不可替代的优势推动整形外科的革新,并有望与AI技术、3D打印技术相结合构建数字化整形一体式平台。
参考文献略。
来源:中国美容整形外科杂志2024年1月第35卷第1期。