我们提出了 ImageBind-LLM，一种通过 ImageBind 进行大型语言模型（LLM）的多模态指令调优方法。我们的方法可以响应多模态条件，包括音频、三维点云、视频以及它们的嵌入空间算术，仅通过图像文本对齐训练。我们的模型表现出卓越的多模态指令跟随能力，并具有显著的语言生成质量。

Sep, 2023

提出 LLMBind 框架，结合大型语言模型和预训练任务模型，实现多模态任务的综合集成，通过多领域专家的协作学习来处理各种多模态任务，展示了创建统一 AI 代理模型通用模态的潜力。

Feb, 2024

通过自动指令增强方法名 INSTRAUG 的多模态任务中的精调大型语言模型（LLMs）可以在 12 个多模态任务中显著提高多模态大型语言模型（MLLMs）的对齐度，相当于多次扩大训练数据的好处。

Feb, 2024

本研究提出了一种基于多模态生成模型的半监督学习方法，通过学习序列对之间的共享表示来重构未配对的数据，以解决指令跟随任务中的挑战，并在实验中通过利用未配对数据来改善表现。

Dec, 2022

ImageBind 是一种学习跨六种不同类型数据（图像、文本、音频、深度、热成像和 IMU 数据）联合嵌入的方法，只需使用图像数据对它们进行绑定。它能够实现跨模态检索、跨模态检测和生成等新颖的应用，而且表现出强大的零样本和有限样本识别能力，能够评估视觉模型的性能。

May, 2023

综合评估了多模态大型语言模型的指导遵循能力，并引入了 I4 基准测试，提出了一种智能控制知识重新注入模块和无标注跨注意力引导的反事实图像训练策略，从而实现了在复杂的纷繁视觉语言指令中有效处理的新型多模态大型语言模型 Cheetah，达到了 I4 中所有任务的零样本表现的最新水平，并与当前 MME 基准的最新指导优化模型相比具有竞争力的性能。

Aug, 2023

该研究介绍了 MM-Instruct，这是一个大规模、多样化和高质量的视觉指导数据集，旨在增强大型多模态模型（LMMs）的指令跟随能力，并通过使用现有的 LLMs 从大规模图像字幕数据集生成新的视觉指导数据，并介绍了一个基于生成的指导数据来评估现有 LMMs 的指令跟随能力的基准。

Jun, 2024

通过在图像文本对上进行预训练和在受监督的视觉语言指导数据上进行微调的两阶段训练，多模态大型语言模型实现了其遵循指令的能力。本文介绍了 InstructionGPT-4，该模型在仅包括 200 个示例的小数据集上进行了微调，相当于 MiniGPT-4 对齐数据集中使用的指令遵循数据的约 6％。我们首先提出了几个用于评估多模态指令数据质量的度量标准。基于这些度量标准，我们提出了一种简单而有效的数据选择器，用于自动识别和过滤低质量的视觉语言数据。采用这种方法，InstructionGPT-4 在各种评估（如视觉问答、GPT-4 偏好）上的表现优于原始的 MiniGPT-4。总的来说，我们的研究结果表明，较少但高质量的微调数据能够有效地提高多模态大型语言模型的输出质量。

Aug, 2023

本研究提出了 MultiInstruct，这是第一个多模态指令调优基准数据集，旨在设计多个特定的任务和多个专家编写的指令，使用已存在的开源数据集和多个迁移学习策略来优化 OFM 模型的强零示性能，并且探索了一个新的评估指标：敏感性。

Dec, 2022

通过上下文指导生成回复的语言模型在多轮对话生成任务中取得了令人瞩目的成果，通过对指令进行微调并将其与输入对齐，可以显著提高生成性能。

Nov, 2023