ECCVDec, 2021

医学影像和报告的局部表示联合学习

PDF
TL;DRLoVT 是一种面向医学图像的局部表征学习方法，结合基于实例的图像报告对比学习和图像区域及报告句子表征的局部对比学习，针对局部任务优化图像预先训练，相比其他常用预训练方法，在 18 个局部任务的评估框架中表现最佳，因此被认为是优选方法。
contrastive learningmedical imaginglocalized tasksrepresentation learningpre-training
发现论文，激发创造
  • PRIOR：从医学影像和报告中联合学习的原型表示

    基于对比学习的视觉 - 语言联合预训练已成为一种成功的表示学习策略，本文提出了一个原型表示学习框架，将医学图像和报告之间的全局和局部对齐结合起来，通过重构被屏蔽的图像和报告来在训练阶段交换跨模态信息，实验结果表明该方法在多个数据集和不同数据集规模下优于其他方法。

    Jul, 2023

  • 医学视觉表征的对比学习：来自成对图像和文本

    使用自然组合描述文本，无需人工标注医学图像，通过双向对比目标的方法，使用 ConVIRT 进行预训练的医学图像编码器，将与医学图像配对的文本数据结合起来，极大地提高了数据使用效率。

    Oct, 2020

  • 病变定位的多模态自监督学习

    利用图像和诊断报告的多模态深度学习在医学影像诊断领域取得了显著进展，尤其在缺乏足够注释信息的辅助诊断方面具有强大的能力，然而，没有详细位置注释的准确定位疾病仍然是一个挑战，现有的方法已尝试利用局部信息实现细粒度语义对齐，但其在提取综合上下文内的细粒度语义能力有限，为解决这一问题，我们提出了一种新的方法，将文本报告中的完整句子作为局部语义对齐的基本单元，我们的方法结合了胸部 X 射线图像和相应的文本报告，在全局和局部层面进行对比学习，我们的方法在多个数据集上取得的领先结果证实了其在病灶定位任务中的有效性。

    Jan, 2024

  • IMITATE: 临床先验引导的分层视觉 - 语言预训练

    为了利用医学报告的层次结构，从医学图像中提取多层次的视觉特征，并通过新的临床信息对比损失实现异构模态学习，我们提出了一种名为 IMITATE 的新型临床先验指导的视觉语言预训练框架，该框架在五项医学成像下游任务中优于基准方法，突出了整合医学报告的层次结构进行视觉语言对齐的优势。

    Oct, 2023

  • 利用合成数据进行医学视觉 - 语言预训练：绕开真实图像的需求

    利用合成图像从真实医学报告中生成的医学影像，可以有效地实现医学视觉与语言预训练 (VLP)，并且在图像分类、语义分割和目标检测等任务上，利用合成数据的性能与真实数据相当甚至超过。

    Oct, 2023

  • 基于知识增强的医学 CXR 可视化语言预训练模型

    我们提出了一种基于 Transformer 的基于地面知识增强模块的医学视觉 - 语言预训练（GK-MVLP）框架，通过细粒度对应医学知识的解剖区域级视觉特征和文本特征，将医学知识地面化到适当的解剖区域，优化胸部 X 光图像和放射学报告的对齐，并在下游任务上展现出与或超过现有技术的竞争力，包括胸部 X 光疾病分类、疾病定位、报告生成和医学视觉问答。结果显示了引入地面化机制消除偏见并改善胸部 X 光图像和放射学报告的对齐的优势。

    Apr, 2024

  • 知识增强：重新思考医学对比视觉 - 语言预训练

    本文提出了一种知识增强的对比视觉语言预训练（KoBo）框架，该框架将临床知识整合进视觉语言语义一致性的学习中，从而应用于分类、分割、提取和语义相关性的任务中，具有与零样本或少样本设置相当或更好的性能。

    Jul, 2023

  • 基于检索式多粒度对齐的无监督视觉语言预训练

    本文提出了一种无监督的图像与自然语言跨模态预训练方法，通过弱对齐的图像 - 文本语料库以及一组多层次的语义对齐预训练任务来构建理想的跨模态表示。该方法通过 VQA、NLVR2、Visual Entailment、RefCOCO + 等下游任务的评估，取得了在无监督设置下的最佳性能。

    Mar, 2022

  • ELVIS: 通过 Intra-modal 相似度增强视觉语言预训练中的局部性能力

    ELVIS 是一种局部感知的 Visual Language Pre-training 方法，旨在增强自然语言处理对放射学文本和 X 光报告中位置指示的理解能力，通过在无需昂贵注释的情况下，利用大量的匹配图像和文本对来增强局部性，可以更好地定位异常，提高细粒度诊断的准确性。

    Apr, 2023

  • 医学视觉语言理解和生成的多模型预训练：新基准的实证研究

    通过提出一个高质量的医学放射照片数据集 (RadioGraphy Captions)，本文对医学领域的视觉 - 语言 (VL) 预训练 (VLP) 进行了深入的实验分析，得出了一些指导未来医学 VL 任务研究和新的强基准的关键结论。

    Jun, 2023