Jan, 2024

病变定位的多模态自监督学习

PDF
TL;DR利用图像和诊断报告的多模态深度学习在医学影像诊断领域取得了显著进展，尤其在缺乏足够注释信息的辅助诊断方面具有强大的能力，然而，没有详细位置注释的准确定位疾病仍然是一个挑战，现有的方法已尝试利用局部信息实现细粒度语义对齐，但其在提取综合上下文内的细粒度语义能力有限，为解决这一问题，我们提出了一种新的方法，将文本报告中的完整句子作为局部语义对齐的基本单元，我们的方法结合了胸部 X 射线图像和相应的文本报告，在全局和局部层面进行对比学习，我们的方法在多个数据集上取得的领先结果证实了其在病灶定位任务中的有效性。
发现论文，激发创造
  • 多分辨率下的弱监督医疗诊断和定位

    为解决医学影像诊断过程中对多种异常区域进行定位的难题，在仅有图像层级标签的情况下，本文提出了一种新颖的多分辨率学习模型，借助 Log-Sum-Exp 池化函数和可学习的下边界适应方法构建尖锐性先前概率，生成高分辨率的显著图，并且在解读胸部 X 光片方面取得了最新的最佳性能。

    Mar, 2018

  • 使用多模态深度学习整合医学影像与临床报告进行先进疾病分析

    通过创新的多模态深度学习模型，本文旨在深度整合医学图像和临床报告等异构信息。使用卷积神经网络提取高维特征，捕捉关键视觉信息；利用双向长短时记忆网络结合注意机制，在临床报告文本中进行深度语义理解，准确捕捉与疾病相关的关键陈述。通过设计的多模态融合层，有效实现图像和文本的联合表征学习。实证研究中，利用大型医学图像数据库和相应的临床报告进行模型训练和验证，实验结果明显展示了多模态深度学习模型在疾病分类、损伤定位和临床描述生成方面的显著优越性。

    May, 2024

  • 针对多样化 CT 图像的临床显著发现的整体和全面注释：从放射学报告和标签本体学习

    该研究使用深度学习和多标签分类方法设计了一个名为 LesaNet 的病变注释网络，它可以准确的为超过 32k 的多样性病变图像进行分类并提取出 171 个精细标签，平均 AUC 达到 0.9344。

    Apr, 2019

  • 医学影像和报告的局部表示联合学习

    LoVT 是一种面向医学图像的局部表征学习方法，结合基于实例的图像报告对比学习和图像区域及报告句子表征的局部对比学习，针对局部任务优化图像预先训练，相比其他常用预训练方法，在 18 个局部任务的评估框架中表现最佳，因此被认为是优选方法。

    Dec, 2021

  • 利用文本语义改进生物医学视觉 - 语言处理

    本文介绍了一种基于语义模型的对比学习方法，该方法在生物医学领域的文本 - 语言建模中取得了目前最先进的结果，利用该方法可以更好地理解医学图像和报告。

    Apr, 2022

  • 癌症检测中的多模态医学影像深度学习调查

    通过深度学习，本文调查了逾 150 篇研究，主要关注使用深度学习的多模态癌症检测的数据集以及解决各种挑战的方案，如数据注释、类别差异、小规模损伤和遮挡等。同时概述了每种方法的优点和缺陷，并讨论了当前工作范畴以及未来多模态癌症检测的发展方向。

    Dec, 2023

  • 基于文本引导的医学图像癌症检测增强

    利用临床报告来实现弱标签监督学习以提高癌症检测的准确性。通过将诊断和肿瘤位置文本提示整合到视觉语言模型的文本编码器中，可以有效地在视觉语言模型的潜在空间中进行弱监督学习的优化，从而提高训练的稳定性。在大规模癌症数据集上的广泛数量实验结果验证了我们的方法可以将人工标注工作量减少至少 70%，同时保持与竞争的全监督方法相当的癌症检测准确性（AUC 值 0.961 vs 0.966）。

    May, 2024

  • 自我监督多模态全身医学影像对齐

    本文探讨在医学成像中使用自监督深度学习的应用，特别是在存在两种扫描模式的同一主体的情况下。通过使用来自英国生物库的超过 20,000 个主体的完整身体迪克森技术磁共振（MR）扫描和双能 X 射线吸收计量（DXA）扫描的大型公开数据集，作者提出了一种针对多模式图像匹配对比框架，并且可以在没有监督的情况下执行自动跨模式扫描配准。最后，作者使用这些配准将 DXA 扫描的分割图传输到 MR 扫描中，在不需要地面真实 MR 样本的情况下，训练可以分割解剖区域的网络。

    Jul, 2021

  • 多标签皮肤病变分类的自监督多模态学习

    通过最大化不同视角下的镜检和临床图像之间的相似性，聚类分析生成模拟的伪多标签以及利用标签关系来改善多模态皮肤病变分类的自监督学习算法比其他现有自监督学习算法在七点皮肤病变数据集上获得了更好的性能。

    Oct, 2023

  • 基于病变引导的可解释少样本弱监督医疗报告生成

    提出了一种病变引导的可解释性小样本医学报告生成框架，该框架通过视觉和语义特征对齐学习见过的和新疾病类型之间的相关性，从而生成未在训练中观察到的疾病的报告。

    Nov, 2022