May, 2023

MedBLIP: 从 3D 医疗影像和文本数据进行语言 - 图像预训练的自举方法

PDF
TL;DR本文提出了 MedBLIP，这是一个轻量级的 CAD 系统，利用预训练的图像编码器和语言模型，结合维度转换，对医学图像扫描和电子医疗记录中的文本描述进行预训练，最终在 Alzheimer's 病例分类和医学 VQA 领域表现出 SOTA 性能。
vision-language pre-trainingcomputer-aided diagnosesmedical domaincad systemalzheimer's disease
发现论文，激发创造
  • MedKLIP: 医学知识增强的语言 - 图像预训练

    该研究论文提出了基于医学图像文本匹配的预训练方法，利用三元组信息和医学专有知识进行医疗分类和定位，取得了比其他方法更好的分类结果。

    Jan, 2023

  • BLIP: 为实现统一的视觉语言理解与生成，引入语言 - 图像引导预训练

    本文提出了 BLIP 作为新的 VLP 框架，通过引入 captioner 生成合成字幕，并使用 filter 删除噪音数据，能灵活地传输视觉语言理解和生成任务，获得了在一系列视觉语言任务中最先进的结果，同时在零样本任务中也表现出极强的泛化能力。

    Jan, 2022

  • 生物医学视觉语言处理的大规模领域特定预训练

    本文介绍了 BiomedCLIP 在生物医学视觉语言处理方面的应用，该方法针对生物医学 VLP 进行改进和优化，实验结果显示，BiomedCLIP 已成为标准数据集中广泛应用于检索、分类和视觉问答等任务的新的最佳模型，且在某些领域甚至胜过了目前的最新模型。

    Mar, 2023

  • 对齐、推理和学习：利用知识增强医疗视觉语言预训练

    本文提出了一种系统和有效的方法来增强医学视觉和语言预训练 (Med-VLP)，通过结构化医学领域专家知识从三个方面做到了这一点，并构建了一个医学视觉和语言基准来评估此方法的有效性。

    Sep, 2022

  • CT-GLIP: 使用 CT 扫描和放射学报告进行全身场景的三维语言图像预训练

    医学图像语言预训练（Med-VLP）通过视觉内容与相关的文本描述之间建立连接。本文将 Med-VLP 的范围扩展到包括 3D 图像，特别针对全身场景，并利用包含 CT 图像和报告的多模态数据集。我们介绍了 CT-GLIP（CT 扫描的基于图像 - 语言的预训练）的一种新方法，通过构建器官级的图像 - 文本对来增强多模态对比学习，将基于图像的视觉特征与精确的诊断文本对齐。我们的方法在一个包含 17,702 名患者的多模态 CT 数据集上进行训练，涵盖了 104 个器官的 44,011 个视觉 - 文本对，证明了它能够使用自然语言以零 - shot 方式识别器官和异常。CT-GLIP 的性能在一个独立测试集上进行验证，该测试集包括 1,130 名患者，重点关注 7 个器官中最常见的 16 种异常。实验结果表明，在使用 CNN 和 ViT 架构的零 - shot 和微调场景下，我们的模型在标准 CLIP 框架之上表现出卓越的性能。

    Apr, 2024

  • 医疗视觉语言预训练：综述

    医疗视觉语言预训练透过自监督学习的方式利用图像和文本数据集，为医学领域稀缺的标注数据提供了解决方案。该文回顾了医疗视觉语言预训练的不同目标、架构、评估任务和数据集，并探讨了现有挑战及未来发展方向。

    Dec, 2023

  • 高效多语言视觉 - LLMs 引导程序的启动

    通过利用机器翻译产生多语言数据来实现对预训练的多语言 LLM 的图像编码器的重新对准，从而在消费者硬件上使用少量训练数据来获得第一款多语言 Vision-LLM，与从头开始训练的大规模 Vision-LLM 相比表现出色。

    Jul, 2023

  • 医学视觉语言预训练用于脑部异常

    本研究旨在展示如何从公共资源如 PubMed 中自动收集医学图像与文本对齐数据，构建用于具体医学任务的高性能视觉语言模型，并解决医学领域中子图到子标题的映射问题。

    Apr, 2024

  • 使用预训练视觉语言模型的医学图像理解：一项全面研究

    本文通过研究预训练视觉语言模型在医学图像领域的知识传递能力，发现合理设计的医学提示语是调用预训练模型知识的关键。通过使用在领域间共享的表达属性提示，可实现知识跨越领域，改进泛化能力，对新对象的识别有所优化。此外，通过自动化生成医学提示的三种方法，可以将专家级的医学知识和图像特定信息注入提示语中，进行细粒度的信息定位，试验表明，与默认提示相比，巧妙设计的医学提示显著提高了零样本性能，且微调模型超过了受监督的模型。

    Sep, 2022

  • MeDSLIP：医学双流语言 - 图像预训练用于细粒度对齐

    通过 Medical Dual-Stream Language-Image Pre-training (MeDSLIP) 框架，建立了视觉 - 语言的细粒度对齐，采用了一种新颖的视觉 - 语言的原型对比度学习方法 (ProtoCL) 来增强解剖和病理的关联性，并利用跨流内图像对比度学习 (ICL) 确保了同一图像中解剖和病理概念间的一致性共存，这种跨流正则化鼓励模型更全面地进行表示学习，在零 - shot 和监督微调设置下在三个公开数据集上 (NIH CXR14, RSNA Pneumonia, SIIM-ACR Pneumothorax) 进行了评估，在分类、定位和分割任务上优于六个领先的基于 CNN 的模型。

    Mar, 2024