在IVS項目中，我們的目標是構建一個尖端的XR基礎平臺，用於直接檢查、探索和理解3D醫療數據，並配備AI輔助的可視化和用戶交互功能。重要的是 這個平臺將成為擴展現實（XR）環境中的「自然用戶界面」，為用戶提供直觀的操作方式。我們的方法超越了現有技術，通過結合AI和XR的應用，我們將最大化平臺的可用性並豐富臨床工作流程。在構建這個平臺的過程中，我們將利用IPD和IAS項目的一些核心組件，諸如醫療數據分割、地標檢測和追蹤等。此外，XR平臺也將作為構建IAS項目以及整合多元化流程系統中的一些交付成果的基礎。
數據可視化系統通過提供可視化數據表示，幫助人們更有效地完成任務。我們的目標是構建一個基於 XR 的系統，讓醫生和患者能夠在臨床工作流程中理解和探索三維醫療數據。該系統將包括三個模塊：
(1) 三維重建模塊： 該模塊旨在重建特定身體部位（如組織和血管）的三維幾何形狀和相關內部結構。
(2) 數據可視化模塊： 該模塊在通用 XR 環境中展示醫療數據和重建的三維結構。我們將創建一個實時、通用、可擴展的 XR 設置，以自然、無縫地展示三維數據。
(3) 數據探索模塊： 該模塊為探索和操作醫療數據提供基本的交互控製，如三維轉換、視圖控製、數據註釋和數據過濾。
子項目 B 側重於設計以用戶為中心的通用工具，以滿足臨床工作流程各階段（如診斷和手術前規劃）的實際需求。
(1) 首先，我們將探索協調視圖可視化，為協調 2D-3D 可視化分析開發協調 2D/3D 可視化工具。
(2) 其次，我們將探索比較可視化和設計人工智能支持的比較可視化技術，以幫助有效探索醫療數據的變化，如後續治療後的變化。
(3) 最後，我們將開發一個基於 XR 的集成手術模擬模塊，用於術前手術規劃。
子項目 C 的重點是設計新穎的人工智能方法，以增強和豐富用戶互動。開發人工智能支持的交互是人機交互領域的一個新興研究方向。我們計劃探索的主要領域包括：
(1) 輔助數據探索，例如，以用戶為中心的半自動解剖結構註釋；結構感知的距離、面積和體積交互式估算；以及突出特征檢測，為用戶探索提供視覺引導。
(2) 輔助手術規劃，如基於生物力學的軟組織變形；模擬血管和組織與手術針的相互作用；手術過程中的實時導航。
(3) 輔助手術培訓，如手術培訓中的用戶動作跟蹤和評估；自動生成視覺引導的課程學習，以增強用戶體驗。
在子項目 D 中，我們的目標是擴展我們的環境，以促進自然用戶交互和多用戶協作。這樣做將最大限度地發揮 XR 平臺的功能，因為 XR 自然提供了一個用於無縫協作的通用三維可視化空間：
(1) 在同一地點的用戶，我們的平臺將提供非接觸式協作；在這裏，我們將探索如何高效地討論手術方案，促進培訓和教育，並向患者解釋醫療和診斷結果。
(2) 對於遠程用戶，我們將探索遠程醫療，從而幫助遠程用戶在臨床工作流程的不同階段共同探索和共同操作相同的三維醫療數據。我們的目標是讓海外醫學專家能夠有效地參與手術診斷、規劃和教育。