中科院香港创新院发布具身智能手术大模型，可用于手术指导

界面新闻记者 | 张熹珑11月22日，中国科学院香港创新研究院人工智能与机器人创新中心发布CARES Copilot具身智能手术AI大模型2.0版本，可为临床诊断和决策提供支持。AI手术大模型、具身智能医疗机器人、人工智能基础理论等方面开展研究工作，目标是打造香港人工智能品牌。3月，AI多模态大模型CARES Copilot 1.0发布，可以在手术阶段自动识别病灶和解剖结构，以识别和辅助医生的功能为主。CARES Copilot 2.0的突破性主要在四方面：提供高效医学搜索与内容生成功能，帮助医疗专业人士快速检索与生成结构化医学报告；提供药物相互作用、适应症与禁忌症等多层次查询，利用AI技术自动解析并生成精准用药建议；能快速生成针对呼吸系统诊断的详细且专业的手术报告；基于大语言模型技术，集成数字人定位、机器人运动控制与三维重建，实现全自动超声检查。2.0版本大模型的突破性体现在，首先从整体架构来看，为了保证回答的安全性、可解释性和可追溯性，整体技术设计上做了全面升级。另外是多模态能力，即处理不同模态的图像，大模型可以理解核磁共振、CT、超声影像，并进行图像转换。1.0大模型给医生后，他们使用最多的功能是手术规划。以前做手术规划要翻书，决定术式后还有一系列注意事项，如肿瘤的位置、怎样开缺口。现在大模型能帮助规划。”刘宏斌提到，医生反馈指，手术规划找颅骨缺口角度时，一般要用CT拍骨性结构，但神经外科手术里一般只有核磁影像，所以就产生了核磁共振跟CT转化的需求和相应的技术迭代。1.0版本，CARES Copilot使用3000多本国内外的神经外科教材以及指南训练作为数据进行训练。刘宏斌表示，2.0版本的数据大幅增加，“1.0只有神经外科一个科室的数据，2.0增加了呼吸科、超声科、麻醉科等科室数据。”2.0大模型主要聚焦术中的人机交互，即大模型在手术过程中要跟医生进行互动、理解医生的提问，进一步聚焦具身应用。3D重构，分割肿瘤区域，并考虑从哪个地方做切面，最后展示。一个受过训练的医生会自然而然做这些工作，但是让一个AI系统来做的话，它需要知道怎么分解这个任务、调动相应功能、组合起每个环节。这个是我们在2.0的时候重点开发的。”刘宏斌认为，具身智能体现在，AI系统能够跟人交互，并进行任务的规划和执行。CARES Copilot2.0也进一步完善手术指导功能。例如在神经外科中，可以进行手术导航，给医生一些实时的提醒，比如应该看哪个部位、重点关注核磁影像上的哪个区域；麻醉科中，可以实现输血决策，在术中指导如何输血。Embodied AI）手术室。虽然称之为“手术室”，更多是智能的技术集合体，包括微创手术机器人，部署在边缘计算系统上的AI大模型，内窥镜、手术室监控摄像头、超声等实时影像设备。中心人员介绍指，该系统已经完成了四次的尸体实验。