在IAS项目中，我们的目标是通过开发一套新颖高效的算法来推进术中人工智能增强现实辅助手术的研究，以解决在提供精确有效的术中引导方面的一些基础而具有挑战性的问题。在这些算法的基础上，结合在IPD和IVS项目中开发的算法，我们将为一些具有代表性的肝癌和肾癌治疗手术开发三个AI-AR辅助手术系统。
从医学影像和手术视频中识别可靠且可重复的地标对于术中精确配准至关重要。然而，传统的地标检测器和描述器都是专为 RGB 图像或医学图像设计的。目前还没有一种技术能有效地在三维医学图像和二维手术视频帧之间建立多模态对应关系。基于以往学习 2D-3D 对应关系的经验，我们提出自动学习多模态地标检测器和描述符，以可靠地恢复对应的地标。
AI-AR辅助手术系统的另一个关键组成部分是手术器械和解剖目标在术中的精确跟踪。我们将在超声图像的指导下提出一套全新的算法。所提出的算法具有足够的通用性，可轻松扩展到其他成像模式。由于手术器械或解剖目标在手术过程中的外观可能会大幅改变，甚至从可用图像中完全消失，因此传统的基于视觉信息的跟踪器无法精确、持续地跟踪目标。我们将开发一种新型混合跟踪系统，该系统由基于深度学习的视觉跟踪模块和运动预测模块组成。
为了方便微创手术中多种模式的非刚性配准，需要精确测定软组织的形变。有限元方法被广泛应用于形变建模。然而，在复杂的手术过程中，这些方法无法在效率和准确性之间取得良好的平衡。我们将提出一种轻量级深度学习框架，以实现准确、实时的软组织形变。它将由两个模块组成：高效形变建模和实时交互。
D. 呼吸感知 2D-3D 配准和融合
该任务是解决呼吸情况下的2D-3D配准和融合这一具有挑战性的任务，这对于许多肝癌和肾癌治疗手术的术中引导至关重要。我们将开发一个新颖的2D-3D配准框架，其中包括时空呼吸统计建模和用于2D-3D配准的新颖网络。
时空统计呼吸模型：通过使用 IPD 程序中的算法对3D图像进行分割和重建，可以获得每个时间对应的所有3D解剖网格模型。考虑到3D解剖结构在每个呼吸周期中的运动状态相似，我们将提出一种基于周期性时空分布的统计呼吸运动模型。在该模型中，所有呼吸周期中所有相应时间的3D解剖形状都是相关的。
2D-3D 配准: 我们拟开发一种可变换的 2D-3D 配准网络模型，即 IGAT（图像到图的注意力网络，GAT：图注意力网络），以实现精确的2D-3D配准。
我们将综合上述算法以及在 IPD 和 IVS 计划中开发的算法，开发三个原型。
AR 辅助针状器械程序
AR 辅助腹腔镜手术
AR 辅助经导管栓塞术