在IVS项目中，我们的目标是构建一个尖端的XR基础平台，用于直接检查、探索和理解3D医疗数据，并配备AI辅助的可视化和用户交互功能。重要的是 这个平台将成为扩展现实（XR）环境中的“自然用户界面”，为用户提供直观的操作方式。我们的方法超越了现有技术，通过结合AI和XR的应用，我们将最大化平台的可用性并丰富临床工作流程。在构建这个平台的过程中，我们将利用IPD和IAS项目的一些核心组件，诸如医疗数据分割、地标检测和追踪等。此外，XR平台也将作为构建IAS项目以及整合多元化流程系统中的一些交付成果的基础。
数据可视化系统通过提供可视化数据表示，帮助人们更有效地完成任务。我们的目标是构建一个基于 XR 的系统，让医生和患者能够在临床工作流程中理解和探索三维医疗数据。该系统将包括三个模块：
(1) 三维重建模块： 该模块旨在重建特定身体部位（如组织和血管）的三维几何形状和相关内部结构。
(2) 数据可视化模块： 该模块在通用 XR 环境中展示医疗数据和重建的三维结构。我们将创建一个实时、通用、可扩展的 XR 设置，以自然、无缝地展示三维数据。
(3) 数据探索模块： 该模块为探索和操作医疗数据提供基本的交互控制，如三维转换、视图控制、数据注释和数据过滤。
子项目 B 侧重于设计以用户为中心的通用工具，以满足临床工作流程各阶段（如诊断和手术前规划）的实际需求。
(1) 首先，我们将探索协调视图可视化，为协调 2D-3D 可视化分析开发协调 2D/3D 可视化工具。
(2) 其次，我们将探索比较可视化和设计人工智能支持的比较可视化技术，以帮助有效探索医疗数据的变化，如后续治疗后的变化。
(3) 最后，我们将开发一个基于 XR 的集成手术模拟模块，用于术前手术规划。
子项目 C 的重点是设计新颖的人工智能方法，以增强和丰富用户互动。开发人工智能支持的交互是人机交互领域的一个新兴研究方向。我们计划探索的主要领域包括：
(1) 辅助数据探索，例如，以用户为中心的半自动解剖结构注释；结构感知的距离、面积和体积交互式估算；以及突出特征检测，为用户探索提供视觉引导。
(2) 辅助手术规划，如基于生物力学的软组织变形；模拟血管和组织与手术针的相互作用；手术过程中的实时导航。
(3) 辅助手术培训，如手术培训中的用户动作跟踪和评估；自动生成视觉引导的课程学习，以增强用户体验。
在子项目 D 中，我们的目标是扩展我们的环境，以促进自然用户交互和多用户协作。这样做将最大限度地发挥 XR 平台的功能，因为 XR 自然提供了一个用于无缝协作的通用三维可视化空间：
(1) 在同一地点的用户，我们的平台将提供非接触式协作；在这里，我们将探索如何高效地讨论手术方案，促进培训和教育，并向患者解释医疗和诊断结果。
(2) 对于远程用户，我们将探索远程医疗，从而帮助远程用户在临床工作流程的不同阶段共同探索和共同操作相同的三维医疗数据。我们的目标是让海外医学专家能够有效地参与手术诊断、规划和教育。