在IAS項目中，我們的目標是通過開發一套新穎高效的算法來推進術中人工智能增強現實輔助手術的研究，以解決在提供精確有效的術中引導方麵的一些基礎而具有挑戰性的問題。在這些算法的基礎上，結合在IPD和IVS項目中開發的算法，我們將爲一些具有代表性的肝癌和腎癌治療手術開髮三個AI-AR輔助手術系統。
從醫學影像和手術視頻中識別可靠且可重複的地標對於術中精確配準至關重要。然而，傳統的地標檢測器和描述器都是專爲 RGB 圖像或醫學圖像設計的。目前還沒有一種技術能有效地在三維醫學圖像和二維手術視頻幀之間建立多模態對應關繫。基於以往學習 2D-3D 對應關係的經驗，我們提出自動學習多模態地標檢測器和描述符，以可靠地恢複對應的地標。
AI-AR輔助手術系統的另一個關鍵組成部分是手術器械和解剖目標在術中的精確跟踪。我們將在超聲圖像的指導下提出一套全新的算法。所提出的算法具有足夠的通用性，可輕鬆擴展到其他成像模式。由於手術器械或解剖目標在手術過程中的外觀可能會大幅改變，甚至從可用圖像中完全消失，因此傳統的基於視覺信息的跟踪器無法精確、持續地跟踪目標。我們將開髮一種新型混合跟踪系統，該系統由基於深度學習的視覺跟踪模塊和運動預測模塊組成。
爲了方便微創手術中多種模式的非剛性配準，需要精確測定軟組織的形變。有限元方法被廣泛應用於形變建模。然而，在複雜的手術過程中，這些方法無法在效率和準確性之間取得良好的平衡。我們將提出一種輕量級深度學習框架，以實現準確、實時的軟組織形變。它將由兩個模塊組成：高效形變建模和實時交互。
D. 呼吸感知 2D-3D 配準和融合
該任務是解決呼吸情況下的2D-3D配準和融合這一具有挑戰性的任務，這對於許多肝癌和腎癌治療手術的術中引導至關重要。我們將開髮一個新穎的2D-3D配準框架，其中包括時空呼吸統計建模和用於2D-3D配準的新穎網絡。
時空統計呼吸模型：通過使用 IPD 程序中的算法對3D圖像進行分割和重建，可以獲得每個時間對應的所有3D解剖網格模型。考慮到3D解剖結構在每個呼吸週期中的運動狀態相似，我們將提出一種基於週期性時空分佈的統計呼吸運動模型。在該模型中，所有呼吸週期中所有相應時間的3D解剖形狀都是相關的。
2D-3D 配準: 我們擬開發一種可變換的 2D-3D 配準網絡模型，即 IGAT（圖像到圖的注意力網絡，GAT：圖注意力網絡），以實現精確的2D-3D配準。
我們將綜合上述算法以及在 IPD 和 IVS 計劃中開發的算法，開發三個原型。
AR 輔助針狀器械程序
AR 輔助腹腔鏡手術
AR 輔助經導管栓塞術