Dec, 2023

UniDCP: 通过动态的跨模态可学习提示统一多个医学视觉语言任务

PDF
TL;DR提出了一种名为 UniDCP 的统一医学视觉语言模型，具有动态跨模态可学习提示，可以适用于多个医学视觉语言任务，并在 14 个相关数据集上表现出优异的结果。
medical vision-language pre-trainingmed-vlp modelsunified medical vision-language modeldynamic cross-modal learnable promptsmedical uni-modal and cross-modal tasks
发现论文，激发创造
  • Med-UniC：通过减少偏差，统一跨语言医学视觉语言预训练

    Med-UniC 是一种用于统一跨语言医疗视觉语言预训练的框架，通过使用 CTR 方法对多模式医疗数据进行处理，解决了语言、文化及隐含知识等方面的问题，减轻了社区偏见并取得了优异的成果。

    May, 2023

  • 语言引导下统一的医学图像预训练在共同语义空间中

    借助统一的语义空间，UniMedI 提出了一种统一医学图像预训练框架，能够有效地为不同模态的医学图像创建统一的表示，并通过改进对 2D 和 3D 图像的分析和解释来提高一致性和性能。

    Nov, 2023

  • 通过动态视觉提示将预训练语言模型应用于视觉语言任务

    本文旨在研究使用预训练语言模型（Pre-trained language models，PLMs）作为一个独立的模型来进行视觉语言推理任务。提出了一个名为 Dynamic Visual Prompting（DVP）的新型转移学习方法，通过搜索算法，在保持 PLMs 参数完整性的情况下，有效地将其与不同的视觉语言任务相结合。经过广泛的实验验证，DVP 在效率和性能方面都具有优势，并且能够很好地适应预训练语言模型与 VL 任务相结合的需求。

    Jun, 2023

  • 深度交互的跨模态提示学习

    本文提出了一种基于 CLIP 的深度交互式跨模态提示学习（DCP）方法，可实现视觉和语言之间的灵活相互作用，通过良好连接的多头注意力模块逐步强且稳定地交换各自的表示，并在 11 个图像分类数据集上进行综合少样本学习实验和域自适应能力分析，实验结果显示 DCP 表现出了超凡的少样本泛化性能和具有吸引力的域适应能力。

    May, 2023

  • 对齐、推理和学习：利用知识增强医疗视觉语言预训练

    本文提出了一种系统和有效的方法来增强医学视觉和语言预训练 (Med-VLP)，通过结构化医学领域专家知识从三个方面做到了这一点，并构建了一个医学视觉和语言基准来评估此方法的有效性。

    Sep, 2022

  • 使用预训练视觉语言模型的医学图像理解：一项全面研究

    本文通过研究预训练视觉语言模型在医学图像领域的知识传递能力，发现合理设计的医学提示语是调用预训练模型知识的关键。通过使用在领域间共享的表达属性提示，可实现知识跨越领域，改进泛化能力，对新对象的识别有所优化。此外，通过自动化生成医学提示的三种方法，可以将专家级的医学知识和图像特定信息注入提示语中，进行细粒度的信息定位，试验表明，与默认提示相比，巧妙设计的医学提示显著提高了零样本性能，且微调模型超过了受监督的模型。

    Sep, 2022

  • 医学视觉语言理解和生成的多模型预训练：新基准的实证研究

    通过提出一个高质量的医学放射照片数据集 (RadioGraphy Captions)，本文对医学领域的视觉 - 语言 (VL) 预训练 (VLP) 进行了深入的实验分析，得出了一些指导未来医学 VL 任务研究和新的强基准的关键结论。

    Jun, 2023

  • MuDPT: 针对大型预训练视觉语言模型的多模式深层联合调整

    本文介绍了一种基于多模态深度共生的 Prompt Tuning 方法，通过学习一个模型无关的变换网络，实现了深度的双向自然语言和视觉信息融合，在图像识别和领域外泛化方面表现优异。

    Jun, 2023

  • 医学视觉语言预训练中的多任务配对掩蔽与对齐建模

    该研究提出了一种新的医学图像分析解决方案：基于多任务配对掩模对齐（MPMA）的统一 Med-VLP 框架，其中设计了全局和局部对齐（GLA）模块和记忆增强型跨模态融合（MA-CMF）模块，以实现更全面的跨模态交互，并在全部下游任务中优于以前的方法。

    May, 2023

  • 图像字幕和 VQA 统一视觉语言预训练

    本文提出了一个统一的视觉语言预训练模型，采用共享的多层 Transformer 网络进行编码和解码，通过两个任务的无监督学习目标对大量的图像文本对进行预训练，使得该模型在图像字幕和视觉问答等多个任务上均取得了最先进的结果。

    Sep, 2019