Med-Flamingo: 一种多模态医学少样本学习器

Jul, 2023

Med-Flamingo: 一种多模态医学少样本学习器

Med-Flamingo: a Multimodal Medical Few-shot Learner

Michael Moor, Qian Huang, Shirley Wu, Michihiro Yasunaga, Cyril Zakka...

TL;DRMed-Flamingo 是一种适应于医学领域的多模态少样本学习器，能够通过从出版物和教材中的医学图像 - 文本数据进行预训练，提高生成式医学视觉问答（VQA）的性能，并在医师评估和干预性应用中首次实现了多模态医学少样本适应。

Abstract

Medicine, by its nature, is a multifaceted domain that requires the synthesis of information across various modalities. Medical generative vision-language models (VLMs) make a first step in this direction and promise many exciting clinical applications. However, existing models typically have to be fine-tuned on sizeable down-stream datasets, which poses a s

medical generative vision-language models few-shot learner multimodal medical vqa usmle-style problems generative medical vqa

发现论文，激发创造

Flamingo：一种可视化语言模型，用于少样本学习

Flamingo 是一种可视语言模型，具有快速适应新任务的能力，能够仅使用少量注释示例。这种模型通过桥接强大的预训练视觉和语言模型，处理任意交错的视觉和文本数据序列，并无缝地输入图像或视频并进行评估和测试，从而表现出上下文的一步学习能力。

Apr, 2022

使用 Polite Flamingo 进行视觉指导调整

本文主要介绍了 Polite Flamingo, 一种用于语境下回复重新构建的多模式响应重写器，并将其应用于大量的视觉语言数据集中，进一步利用新方法调整多段式调优和多轮增强，生成 PF-1M 数据集，并使用该数据集对多模式 LLM 进行细化调优。

Jul, 2023

Audio Flamingo: 一种具备少样本学习和对话能力的新型音频语言模型

音频 Flamingo 是一个新颖的音频语言模型，具备强大的音频理解能力、通过上下文学习和检索快速适应未见任务的能力、以及强大的多轮对话能力。通过引入一系列的训练技术、架构设计和数据策略，我们提高了模型的这些能力，并在各种音频理解任务上进行了详细评估，取得了新的最先进水平。

Feb, 2024

关于医学图像分析的大型视觉语言模型的实证研究

本研究探讨了视觉语言模型在医学图像分析任务中的零样本和少样本鲁棒性，通过全面的实验验证了视觉语言模型在分析生物医学图像方面的有效性。

Feb, 2024

Re-ViLM: 检索增强的视觉语言模型，用于零和少量样本图像字幕生成

本研究提出了一种基于 Flamingo 模型的 Retrieval-augmented Visual Language Model（Re-ViLM）, 支持检索外部数据库的相关知识，减少模型参数数量，适应新数据评估。研究表明，Re-ViLM 显著提高了图像到文本生成任务的性能，在没有领域内数据和少量领域内数据的情况下，参数数量是基线方法的四倍。

Feb, 2023

推进生物医学中高分辨率视觉语言模型

我们的研究在生物医学领域提出了一个新的指导数据集，利用医学图像文本对，提出了一种新的图像编码策略，通过使用分层表示改善了精细的生物医学视觉理解，并且开发了 LLama3-Med 模型，在生物医学视觉问答基准测试中实现了最先进的零 - shot 性能，相比于以前的方法，平均性能提高超过 10％，这些进展为医疗专业人员提供了更准确可靠的工具，弥补了当前多模态对话助手中的差距，并促进了医疗人工智能的进一步创新。

Jun, 2024

视觉语言基础模型作为有效的机器人模仿者

通过对开放源代码的视觉 - 语言模型进行简单微调，RoboFlamingo 构建了一个简单而新颖的视觉 - 语言操控框架，并利用单步视觉 - 语言理解的预训练模型、显式策略推测历史信息，通过模仿学习在以语言为条件的操纵数据集上微调。通过在基准测试上超过最先进的性能，表明 RoboFlamingo 能够有效并具有竞争力地将 VLM 适应到机器人控制中，为机器人操作提供了一种具有潜力的经济高效和易于使用的解决方案。

Nov, 2023

OpenFlamingo: 训练大规模自回归视觉语言模型的开源框架

OpenFlamingo 是一系列从 3B 到 9B 参数的自回归视觉 - 语言模型，旨在复制 DeepMind 的 Flamingo 模型。通过在七个视觉 - 语言数据集上进行评估，OpenFlamingo 模型的性能平均达到了 Flamingo 的 80％-89％。本技术报告描述了我们的模型、训练数据、超参数和评估套件。我们在此 https 网址上分享我们的模型和代码。

Aug, 2023

MediFact 参加 MEDIQA-M3G 2024：多模态学习在皮肤科医学问答中的应用

本研究提出了一种弱监督学习方法，通过使用 MEDIQA-M3G 图像的 VGG16-CNN-SVM 模型，并通过多模态融合将视觉和文本信息联系起来，解决了传统方法在开放式医疗问答中的局限性，进一步促进了医学问答研究的发展，为临床决策支持系统的构建提供了新的思路，进而提高了医疗保健的服务水平。

Apr, 2024

MedFLIP：医学视觉与语言自监督快速预训练之基于掩码自编码器的方法

介绍了一种名为 MedFLIP 的快速语言 - 图像预训练方法，利用 Masked Autoencoders (MAEs) 和多模态数据进行了零样本学习，提高了医学诊断中从有限数据中学习的能力，通过实验证实了使用语言将提高医学图像分析的零样本性能，MedFLIP 在标记过程的缩放方面取得了进展，为医学图像分析提供了快速准确的路径，通过实验证明了 MedFLIP 的高效性能提升，为未来的研究和应用在医学诊断领域设定了充分探索的标准。

Mar, 2024