Jan, 2024

优化医学基础模型的多尺度和跨模态特征学习

PDF
TL;DR提出的方法有效地利用多尺度和跨模态信息来增强医学基础模型的性能，同时结合局部、实例、模态和全局方面的特征，促进了模型内的综合表示学习，通过在六个开源数据集上的评估表明了其增强医学基础模型性能的能力。
multi-modal medical foundation modelsfeatures extractionmulti-scale and cross-modality informationrepresentation learningperformance enhancement
发现论文，激发创造
  • 基于基础模型的医学图像分析的挑战和展望

    本文讨论了大规模预训练模型，即基础模型，用于分析医学图像的机遇、应用和未来方向。具体而言，我们说明了医学基础模型的 “光谱”，从一般的视觉模型、模态特异性模型到器官 / 任务特异性模型，强调它们的挑战、机会和应用，以此来提高医学图像分析的准确性和效率，从而促进更加精确的诊断和治疗决策。

    Jun, 2023

  • 医学影像学中的基础模型：综合调查与未来视野

    通过提供医学成像领域基础模型的综合概述，本调查旨在帮助研究人员了解基础模型的基本概念、培训策略、计算要求以及在医学图像分析方面的机会、应用和未来发展方向。

    Oct, 2023

  • FORESEE: 癌症生存鲁棒预测的多模态和多视图表示学习

    一个新的端到端框架 FORESEE，通过挖掘多模态信息来稳健地预测患者生存情况，同时利用细胞水平、组织水平和肿瘤异质性水平的丰富语义特征，解决了多模态数据的缺失问题，并通过交叉尺度特征融合方法，提高了病理图像特征表征能力。

    May, 2024

  • 利用大规模多模态 Transformer 进行医学诊断：利用不同的数据进行更准确的诊断

    提出了新的可学习的协同学习方法，用以解决多模态深度学习模型中所存在的模型复杂性升级问题，以及其应用于医学临床数据处理中所面临的扩展性难题，并在三个多模态数据集上展现了其卓越的表现。

    Dec, 2022

  • 图像分类的大边际多模态多任务特征提取

    提出了一种新的 LM3FE 框架，用于处理多模态特征的图像分类，其拥有处理相关特征和利用不同模态特征互补性来减少特征冗余的能力，通过大间隔原则提取预测性强的特征，取得了实验上的良好结果。

    Apr, 2019

  • FedMM：计算病理学中具有模态异质性的联邦多模态学习

    提出并评估了一种名为 FedMM 的联邦多模态学习框架，该框架通过联邦训练多个单模态特征提取器来增强后续分类性能，以解决计算病理学中多模态信息融合的隐私问题。

    Feb, 2024

  • 基于深度学习的多模态医学图像分类信息融合技术综述

    多模医学成像在临床诊断和研究中起着关键作用，深度学习多模态融合技术在提高医学图像分类方面显示出强大的工具。本综述对基于深度学习的医学分类任务中的多模态融合的发展进行了彻底分析，包括不同融合方案和网络架构的性能评估，讨论了相关挑战和未来研究方向。

    Apr, 2024

  • 使用多模态深度学习整合医学影像与临床报告进行先进疾病分析

    通过创新的多模态深度学习模型，本文旨在深度整合医学图像和临床报告等异构信息。使用卷积神经网络提取高维特征，捕捉关键视觉信息；利用双向长短时记忆网络结合注意机制，在临床报告文本中进行深度语义理解，准确捕捉与疾病相关的关键陈述。通过设计的多模态融合层，有效实现图像和文本的联合表征学习。实证研究中，利用大型医学图像数据库和相应的临床报告进行模型训练和验证，实验结果明显展示了多模态深度学习模型在疾病分类、损伤定位和临床描述生成方面的显著优越性。

    May, 2024

  • 基于多任务相关学习的多模态融合框架在癌症预测中的应用

    基于 ResNet-152 和 SGCN, 结合多模态多任务相关学习 (MultiCoFusion) 的多模态融合框架可用于肿瘤的生存分析和癌症等级分类，基于 The Cancer Genome Atlas (TCGA) 的实验结果表明，MultiCoFusion 的表现优于传统的特征提取方法。

    Jan, 2022

  • 半监督医学图像分割的多尺度交叉对比学习

    本文提出了一种 MCSC 框架，联合训练 CNN 和 Transformer 模型，并采用多尺度交叉监督对比学习来对医学图像进行结构分割。实验证明，该方法在 Dice 系数上比现有的半监督方法提高了 3.0% 以上，并且大大缩小了与全监督方法之间的性能差距。

    Jun, 2023