基于人工智能的医学图像计算是深度学习最早应用的领域之一。 尽管近年来该领域取得了巨大成功，但人工智能模型在面向个性化诊断的现实临床实践中仍然存在科学挑战。 在本项目中，我们专注于为癌症患者开发基于图像数据的人工智能解决方案，致力于在精度、稳健性、可解释性以及整合领域专家知识等方面研发高标准的解决方案。与面向非特定人群的现有人工智能系统不同，本项目强调个性化诊断、治疗分析和预后，可以考虑具体情况以及每个患者独特的需求和权利。
个性化诊断不仅需要对解剖学信息进行评估，还需要对图像中的功能信息甚至分子信息进行评估。 这需要模型学习融合策略，挖掘潜在空间中多模态图像数据的信息性、互补性和决定性特征。在本项目中，我们将研究跨模态特征解耦的方法，以对多模态数据进行组合分析。 此外，由于不受控的患者情况和有限的扫描成本，有时很难获得一套完整的模态，因此我们将研究增强多模态融合模型中缺失模态情况的鲁棒性。
此前，我们已经开发了一个针对脑出血（ICH）的预后模型，该模型利用变分自编码器整合影像和临床数据，克服了非随机化试验数据的偏差。我们的方法在预测治疗结果方面，相比现有方法显示出显著的优势。
可解释性推理研究
模型可解释性是本项目不可分割的组成部分，该研究问题为患者预测的诊断结果给出了可解释的理由。这种模型透明度本质上有助于纠正潜在的模态差异并改善模型属性，以解决关键的诊断和预后任务。 如前所述，本项目涉及多种模态联合训练。现有的方法中仅考虑单个输入的可解释性，而这是不够的，因为本项目需要考虑多个模态之间的关系。
在之前的工作中，我们提出了一个框架，通过优化奖励函数来改善不确定性估计，微调网络参数以校准风险，并提高模型的置信度，从而增强对安全关键场景的分割。该框架在手术场景任务上的表现优于现有技术，同时提高了不确定性的质量和分割的准确度。
我们将通过医疗应用的人机循环机制不断融入医生的专业知识。 对于传统的机器学习模型来说，当人类完成数据准备并开始模型学习时，人与机器的交互就停止了。 这种方法将模型学习与人类知识分开，导致训练效率低下，并且需要大量昂贵的注释。 我们的目标是在模型训练和测试过程中，积极参与模型预测的交互式细化，以有效的方式响应临床医生的反馈。
我们在之前的工作中提出了一种人机循环的方法，用于在医学数据集之间转移深度学习模型，使用引爆器网络进行初始标注，以及维持器网络进行迭代更新。灵活的标注策略减少了标注工作量，在CT多器官分割中实现了19.7%的Dice评分提升，并显著缩短了标注时间。