Med-Flamingo 是一种适应于医学领域的多模态少样本学习器，能够通过从出版物和教材中的医学图像 - 文本数据进行预训练，提高生成式医学视觉问答（VQA）的性能，并在医师评估和干预性应用中首次实现了多模态医学少样本适应。

Jul, 2023

音频 Flamingo 是一个新颖的音频语言模型，具备强大的音频理解能力、通过上下文学习和检索快速适应未见任务的能力、以及强大的多轮对话能力。通过引入一系列的训练技术、架构设计和数据策略，我们提高了模型的这些能力，并在各种音频理解任务上进行了详细评估，取得了新的最先进水平。

Feb, 2024

通过对开放源代码的视觉 - 语言模型进行简单微调，RoboFlamingo 构建了一个简单而新颖的视觉 - 语言操控框架，并利用单步视觉 - 语言理解的预训练模型、显式策略推测历史信息，通过模仿学习在以语言为条件的操纵数据集上微调。通过在基准测试上超过最先进的性能，表明 RoboFlamingo 能够有效并具有竞争力地将 VLM 适应到机器人控制中，为机器人操作提供了一种具有潜力的经济高效和易于使用的解决方案。

Nov, 2023

本研究提出了一种基于 Flamingo 模型的 Retrieval-augmented Visual Language Model（Re-ViLM）, 支持检索外部数据库的相关知识，减少模型参数数量，适应新数据评估。研究表明，Re-ViLM 显著提高了图像到文本生成任务的性能，在没有领域内数据和少量领域内数据的情况下，参数数量是基线方法的四倍。

Feb, 2023

本文主要介绍了 Polite Flamingo, 一种用于语境下回复重新构建的多模式响应重写器，并将其应用于大量的视觉语言数据集中，进一步利用新方法调整多段式调优和多轮增强，生成 PF-1M 数据集，并使用该数据集对多模式 LLM 进行细化调优。

Jul, 2023

OpenFlamingo 是一系列从 3B 到 9B 参数的自回归视觉 - 语言模型，旨在复制 DeepMind 的 Flamingo 模型。通过在七个视觉 - 语言数据集上进行评估，OpenFlamingo 模型的性能平均达到了 Flamingo 的 80％-89％。本技术报告描述了我们的模型、训练数据、超参数和评估套件。我们在此 https 网址上分享我们的模型和代码。

Aug, 2023

在视觉语言预训练的演变过程中，从短文理解到包含扩展文本上下文具有关键作用。通过引入对比损失到文本生成模型中，本文提出了一种结合对比学习和多模态处理的统一框架 (ModelName)，在涉及文本和视觉数据的任务中，显著提高模型性能，同时降低学习参数。此外，本文介绍了一个首个交叉视频 - 文本数据集 (VideoDatasetName)，通过全面的字幕，进一步增强模型在图像 - 文本任务中的性能。

Jan, 2024

本文介绍了一种使用大型预训练视觉语言模型和人工奖励注释的成功检测方法，将其作为视觉问答问题，研究了在三个不同领域的成功检测和推广属性，证明该方法能在看到未知语言和视觉变化的情况下胜过定制奖励模型。

Mar, 2023

Audio-Visual Speech Recognition (AVSR) uses Whisper-Flamingo, a model that integrates visual features, to improve speech recognition and translation performance in noisy conditions for multiple languages.

Jun, 2024

通过对齐图像和标题数据，我们训练一个视觉编码器将每个图像表示为一系列连续的嵌入，并使用预先训练的冻结语言模型来生成相应的标题，从而将这种少量样本学习能力转移至多模态设置。该系统是一种多模态少样本学习模型，具有学习各种新任务的惊人能力，如用只有少数几个样例进行视觉问答，或者利用外部知识。

Jun, 2021