Dec, 2023

ECAMP: 基于实体的上下文感知医学视觉语言预训练

PDF
TL;DR基于实体为中心的上下文感知的医学图像与语言预训练 (ECAMP) 框架可从医学数据中提取实体为中心的上下文特征，通过设计实体感知的语言建模、上下文增强的遮蔽语言建模和上下文引导的超分辨率任务进一步提升文本和图像之间的交互，在多个任务中取得显著性能提升，为医学成像中的跨模态学习建立了新的标准。
medical vision-language pre-trainingecampentity-centered contextcontextual featuresmulti-scale context fusion
发现论文，激发创造
  • 对齐、推理和学习：利用知识增强医疗视觉语言预训练

    本文提出了一种系统和有效的方法来增强医学视觉和语言预训练 (Med-VLP)，通过结构化医学领域专家知识从三个方面做到了这一点，并构建了一个医学视觉和语言基准来评估此方法的有效性。

    Sep, 2022

  • 医学视觉语言理解和生成的多模型预训练：新基准的实证研究

    通过提出一个高质量的医学放射照片数据集 (RadioGraphy Captions)，本文对医学领域的视觉 - 语言 (VL) 预训练 (VLP) 进行了深入的实验分析，得出了一些指导未来医学 VL 任务研究和新的强基准的关键结论。

    Jun, 2023

  • MedKLIP: 医学知识增强的语言 - 图像预训练

    该研究论文提出了基于医学图像文本匹配的预训练方法，利用三元组信息和医学专有知识进行医疗分类和定位，取得了比其他方法更好的分类结果。

    Jan, 2023

  • 医学视觉语言预训练中的多任务配对掩蔽与对齐建模

    该研究提出了一种新的医学图像分析解决方案：基于多任务配对掩模对齐（MPMA）的统一 Med-VLP 框架，其中设计了全局和局部对齐（GLA）模块和记忆增强型跨模态融合（MA-CMF）模块，以实现更全面的跨模态交互，并在全部下游任务中优于以前的方法。

    May, 2023

  • 利用视觉 - 语言预训练实现医学图像和文本的多模态理解与生成

    本文提出了一种名为 MedViLL 的多模态自然语言处理模型，基于 BERT，使用一种新颖的多模态注意力掩码机制，通过在医学领域内的广泛一系列的多模态表现学习任务，包括影像报告分类、影像报告检索、影像问题回答和放射学报告生成，进行了统计和严格的评估，证明了 MedViLL 在各种基线上的优越性能表现，尤其是在三个影像报告数据集（MIMIC-CXR、Open-I 和 VQA-RAD）上的实现。

    May, 2021

  • 语言引导下统一的医学图像预训练在共同语义空间中

    借助统一的语义空间，UniMedI 提出了一种统一医学图像预训练框架，能够有效地为不同模态的医学图像创建统一的表示，并通过改进对 2D 和 3D 图像的分析和解释来提高一致性和性能。

    Nov, 2023

  • 医学视觉与语言预训练的多模态掩码自编码器

    提出了一种基于 M$^3$AE 的自监督学习模型，通过随机遮盖图像和文本中的像素和标记来学习跨模态领域知识的医学视觉语言模型，并在三个任务上实现了最先进水平的结果。

    Sep, 2022

  • 医学视觉语言预训练用于脑部异常

    本研究旨在展示如何从公共资源如 PubMed 中自动收集医学图像与文本对齐数据，构建用于具体医学任务的高性能视觉语言模型，并解决医学领域中子图到子标题的映射问题。

    Apr, 2024

  • Med-UniC：通过减少偏差，统一跨语言医学视觉语言预训练

    Med-UniC 是一种用于统一跨语言医疗视觉语言预训练的框架，通过使用 CTR 方法对多模式医疗数据进行处理，解决了语言、文化及隐含知识等方面的问题，减轻了社区偏见并取得了优异的成果。

    May, 2023

  • 基于知识增强的医学 CXR 可视化语言预训练模型

    我们提出了一种基于 Transformer 的基于地面知识增强模块的医学视觉 - 语言预训练（GK-MVLP）框架，通过细粒度对应医学知识的解剖区域级视觉特征和文本特征，将医学知识地面化到适当的解剖区域，优化胸部 X 光图像和放射学报告的对齐，并在下游任务上展现出与或超过现有技术的竞争力，包括胸部 X 光疾病分类、疾病定位、报告生成和医学视觉问答。结果显示了引入地面化机制消除偏见并改善胸部 X 光图像和放射学报告的对齐的优势。

    Apr, 2024