CVPRMay, 2024

MMIST-ccRCC：用于多模态系统开发的现实世界医学数据集

PDF
TL;DR该研究介绍了一个真实的多模态数据集 MMIST-CCRCC，其中包括 CT 和 MRI 放射学模态、组织病理学、基因组学和临床数据，共有 618 名肾细胞癌患者。研究展示了通过模态融合可以改善生存预测的结果，在存在不完整模态的情况下，即使遗漏率高达 90% 以上的 MRI 数据，融合模态仍会提高预测性能。
multi-modal datamachine learningfusion strategyrenal cell carcinomasurvival prediction
发现论文，激发创造
  • $M^{2}$Fusion：基于贝叶斯的多模态多级融合在结直肠癌微卫星不稳定性预测中的应用

    提出了一种基于贝叶斯的多模态多层融合技术，将病理 WSI 和三维影像 CT 图像相融合，用于预测结直肠癌微卫星不稳定性，通过特征级和决策级融合策略，在交叉验证中验证并改进了 MSI 预测的性能。

    Jan, 2024

  • RadFusion: CT 和 EHR 的多模式肺栓塞检测的性能和公正性基准测试

    通过整合医学影像和电子健康记录，可以提升肺栓塞分类性能和稳健性，并在不引入不必要误差的情况下，在受保护子群体之间全面评估公平性属性。

    Nov, 2021

  • 建立灵活、可扩展和机器学习准备的多模式肿瘤数据集

    该论文提出了一种名为 MINDS 的多模态医学数据集成系统，通过整合来自多个公共数据源的异构数据，建立一个灵活、可扩展且具有成本效益的元数据框架，以实现大规模多模态机器学习模型的开发和患者中心架构的构建。MINDS 旨在通过协调多模态数据，赋予研究人员更强大的分析能力，揭示诊断和预后信息，并实现基于证据的个性化治疗，同时确保数据溯源的可追溯性和透明性。

    Sep, 2023

  • 医疗数据的多模态融合架构启用缺失模态

    本研究旨在开发一种对医疗数据具有鲁棒性的高效多模态融合架构，并进一步提高疾病诊断的性能。实验证明，我们提出的多模态融合架构有效地融合了三种模态并对缺失模态表现出较强的鲁棒性。该方法有望扩展到更多模态以增强模型的临床实用性。

    Sep, 2023

  • MedPix 2.0：一套全面的多模态生物医学数据集用于高级 AI 应用

    本文介绍了建立 MedPix 2.0 数据集的整个工作流程，其主要涉及人工智能在医学领域的应用、多模态医学数据集、CT 或 MR 扫描等。同时，还提出了基于 MedPix 2.0 的 CLIP 模型用于扫描分类任务。

    Jul, 2024

  • DrFuse: 临床多模态融合学习非配备模态和模态不一致性的解耦表示

    将电子健康档案（EHR）和医学影像相结合对临床医生在诊断和预测预后中至关重要。作者提出了一种名为 DrFuse 的方法，通过分离跨模态的共享特征和每个模态内的独特特征来解决缺失模态和模态不一致的问题，在真实世界的大规模数据集上验证了该方法的有效性并超越了现有模型。

    Mar, 2024

  • M$^3$Care：多模式医疗数据中的缺失模态学习

    使用缺失模态下的相似度度量与患者邻居的信息进行相关任务的模态补齐模型在多模态医疗数据的临床分析中表现优于现有方法，发现与医学知识一致的结果。

    Oct, 2022

  • 个性化肾细胞癌预后的多模态深度学习：CT 影像与临床数据的整合

    通过结合 CT 成像和临床数据，该研究旨在设计一个全面的深度学习模型，能够预测肾细胞癌患者的存活概率，解决之前研究中存在的局限性，以便识别需要紧急治疗的患者。

    Jul, 2023

  • 基于多任务相关学习的多模态融合框架在癌症预测中的应用

    基于 ResNet-152 和 SGCN, 结合多模态多任务相关学习 (MultiCoFusion) 的多模态融合框架可用于肿瘤的生存分析和癌症等级分类，基于 The Cancer Genome Atlas (TCGA) 的实验结果表明，MultiCoFusion 的表现优于传统的特征提取方法。

    Jan, 2022

  • 预测腋窝淋巴结转移中的缺失模态下的多模态学习

    基于多模态学习的鉴别性淋巴结转移诊断模型，在临床医学实践中，通过双向蒸馏框架获得全面的多模态知识和稳健的 WSI 特征，有效地处理多模态数据和丢失模态，提高早期乳腺癌患者治疗决策的准确性。

    Jan, 2024