CVPRApr, 2024

PairAug：增强图像 - 文本配对在放射学中的应用

PDF
TL;DR我们设计了一种 Pairwise Augmentation (PairAug) 方法，旨在同时增强医学图像和文本数据，通过 Inter-patient Augmentation (InterAug) 分支生成使用合成的放射学报告的放射学图像，并通过 Intra-patient Augmentation (IntraAug) 分支使用新生成的报告来操作图像，从而在各种下游任务中显着优于单独扩展图像或文本数据以及先进的医学 VLP 基线。
vision-language pre-trainingdata augmentationmedical imagetext datapairwise augmentation
发现论文，激发创造
  • 利用合成数据进行医学视觉 - 语言预训练：绕开真实图像的需求

    利用合成图像从真实医学报告中生成的医学影像，可以有效地实现医学视觉与语言预训练 (VLP)，并且在图像分类、语义分割和目标检测等任务上，利用合成数据的性能与真实数据相当甚至超过。

    Oct, 2023

  • 细粒度图像 - 文本检索中的配对交叉模态数据增强

    该论文研究了一个生成文本 - 图像对以提高细粒度图像 - 文本跨模态检索任务训练的开放性研究问题，并提出了一种新的框架用于成对数据增强，以揭示 StyleGAN2 模型的隐藏语义信息。

    Jul, 2022

  • 增强图像 - 标题对：用于基于视觉和语言模型的语义保留的图像 - 标题对增强

    通过数据增强和使用大规模图像和语言数据集（如 CLIP）进行预训练的图像编码器，提出了一种鲁棒的短语基础模型，用于低层次视觉任务中的关键字本体识别，并通过多种指标在常用数据集上展示了先进性能。

    Nov, 2023

  • 配对样本增强图像分类数据

    本文提出了一种名为 SamplePairing 的数据增强技术，通过随机选择训练数据中的另一幅图像，来合成一张新的图像样本。实验表明，该技术在图像分类任务中能够显著提高分类精度，并且在训练样本数较少的任务中，表现更为突出。

    Jan, 2018

  • 医学视觉语言理解和生成的多模型预训练：新基准的实证研究

    通过提出一个高质量的医学放射照片数据集 (RadioGraphy Captions)，本文对医学领域的视觉 - 语言 (VL) 预训练 (VLP) 进行了深入的实验分析，得出了一些指导未来医学 VL 任务研究和新的强基准的关键结论。

    Jun, 2023

  • 医学影像和报告的局部表示联合学习

    LoVT 是一种面向医学图像的局部表征学习方法，结合基于实例的图像报告对比学习和图像区域及报告句子表征的局部对比学习，针对局部任务优化图像预先训练，相比其他常用预训练方法，在 18 个局部任务的评估框架中表现最佳，因此被认为是优选方法。

    Dec, 2021

  • 通过合成对的方法改善文本式图像描述的跨模态对齐

    本研究提出了一种新方法，通过结合合成的图像文本对来解决图像标注中存在的跨模态对齐问题。通过使用预训练的文本到图像模型生成图像，并优化合成图像在 CLIP 嵌入空间中的伪特征以接近真实图像特征，同时利用图像中的显著对象来增强模态对齐的学习。实验证明，该方法在基准数据集上取得了最先进的性能。

    Dec, 2023

  • 基于生成式文本引导的三维视觉语言预训练，用于统一医学图像分割

    本研究提出了一种 3D 医学图像的方法 —— 生成式文本引导 3D 视觉语言预训练。研究在 Computed Tomography (CT)、Magnetic Resonance Imaging (MRI) 和电子显微镜 (EM) 图像数据上进行了验证，结果表明该方法在医学图像分割任务中的效果优异。

    Jun, 2023

  • 基于检索式多粒度对齐的无监督视觉语言预训练

    本文提出了一种无监督的图像与自然语言跨模态预训练方法，通过弱对齐的图像 - 文本语料库以及一组多层次的语义对齐预训练任务来构建理想的跨模态表示。该方法通过 VQA、NLVR2、Visual Entailment、RefCOCO + 等下游任务的评估，取得了在无监督设置下的最佳性能。

    Mar, 2022

  • MedAug: 利用患者元数据的对比学习提高胸部 X 光解释的表征能力

    该研究提出了一种利用患者元数据为医学影像选择正向对样本的方法，使用该方法选择出来的正向对样本可以在自我监督对比学习中提高下游任务的性能。最佳的正向对选择策略将来自同一病人，同一研究的图像从所有的位置进行捕获，使平均 AUC 增长了 14.4％。

    Feb, 2021