基於人工智慧的醫學影像計算是深度學習最早應用的領域之一。 儘管近年來該領域取得了巨大成功，但人工智慧模型在面向個人化診斷的現實臨床實踐中仍然存在科學挑戰。 在本計畫中，我們專注於為癌症患者開發基於影像資料的人工智慧解決方案，致力於在精度、穩健性、可解釋性以及整合領域專家知識等方面研發高標準的解決方案。 與現有針對非特定族群的人工智慧系統不同，本計畫強調個人化診斷、治療分析和預後，可以考慮具體情況以及每位患者獨特的需求和權利。
個性化診斷不僅需要對解剖學信息進行評估，還需要對圖像中的功能信息甚至分子信息進行評估。 這需要模型學習融合策略，挖掘潛在空間中多模態圖像數據的信息性、互補性和決定性特征。在本項目中，我們將研究跨模態特征解藕的方法，以對多模態數據進行組合分析。 此外，由於不受控的患者情況和有限的掃描成本，有時很難獲得壹套完整的模態，因此我們將研究增強多模態融合模型中缺失模態情況的魯棒性。
此前，我們已經開發了壹個針對腦出血（ICH）的預後模型，該模型利用變分自編碼器整合影像和臨床數據，克服了非隨機化試驗數據的偏差。我們的方法在預測治療結果方面，相比現有方法顯示出顯著的優勢。
模型可解釋性是本項目不可分割的組成部分，該研究問題為患者預測的診斷結果給出了可解釋的理由。這種模型透明度本質上有助於糾正潛在的模態差異並改善模型屬性，以解決關鍵的診斷和預後任務。 如前所述，本項目涉及多種模態聯合訓練。現有的方法中僅考慮單個輸入的可解釋性，而這是不夠的，因為本項目需要考慮多個模態之間的關係。
在之前的工作中，我們提出了壹個框架，通過優化獎勵函數來改善不確定性估計，微調網絡參數以校準風險，並提高模型的置信度，從而增強對安全關鍵場景的分割。該框架在手術場景任務上的表現優於現有技術，同時提高了不確定性的質量和分割的準確度。
我們將通過醫療應用的人機循環機制不斷融入醫生的專業知識。 對於傳統的機器學習模型來說，當人類完成數據準備並開始模型學習時，人與機器的交互就停止了。 這種方法將模型學習與人類知識分開，導致訓練效率低下，並且需要大量昂貴的註釋。 我們的目標是在模型訓練和測試過程中，積極參與模型預測的交互式細化，以有效的方式響應臨床醫生的反饋。
我們在之前的工作中提出了壹種人機循環的方法，用於在醫學數據集之間轉移深度學習模型，使用引爆器網絡進行初始標註，以及維持器網絡進行叠代更新。靈活的標註策略減少了標註工作量，在CT多器官分割中實現了19.7%的Dice評分提升，並顯著縮短了標註時間。