本综述论文探讨了多模态大型语言模型（MLLMs），该模型整合了类似于 GPT-4 的大型语言模型（LLMs），用于处理文本和视觉等多模态数据。MLLMs 展示了生成图像叙述和回答基于图像的问题等能力，缩小了人与计算机之间的差距，并暗示了通向人工智能的潜在途径。然而，MLLMs 仍面临处理多模态语义差距的挑战，可能导致错误生成，对社会造成潜在风险。选择适当的模态对齐方法至关重要，因为不恰当的方法可能需要更多参数，并且性能改进有限。该论文旨在探讨 LLMs 的模态对齐方法及其现有能力。实施模态对齐使得 LLMs 能够解决环境问题并提高可访问性。研究调查了 MLLMs 中现有的模态对齐方法，分为四个组：（1）多模态转换器将数据转换为 LLMs 可以理解的格式；（2）多模态感知器改善 LLMs 对不同类型数据的感知能力；（3）工具辅助将数据转换为一种常见格式，通常是文本；以及（4）数据驱动方法教导 LLMs 理解数据集中特定类型的数据。这个领域仍处于探索和试验阶段，我们将组织和更新各种现有的多模态信息对齐研究方法。

Nov, 2023

本文提出了 SpeechGPT，一个具有内在跨模式对话能力的大型语言模型，可以感知和生成多模式内容，并演示了语音 + 文本的多模态交互示例。

May, 2023

MedXChat 是一个用于医学助理和用户之间无缝互动的统一多模态大型模型，包括 CXR 到报告生成、基于 CXR 的视觉问答和文本到 CXR 合成三个关键功能。该模型在医学多模态应用中显示出优异的跨任务适应性，并在 MIMIC 数据集上的性能超越了基准模型。此外，该研究还介绍了一种创新的文本到 CXR 合成方法，利用了 Stable Diffusion（SD）架构内的指令跟随能力，无需额外参数，使模型能够生成高保真度的精细化医学图像。详尽的实验证实了 MedXChat 在所有任务上的协同增强效果。研究中的指令数据和模型将开源。

Dec, 2023

本文介绍了作者团队领导的 “文兰” 项目的主要研究方向，即通过两个塔的 BriVL 预训练模型和跨模态对比学习框架的先进算法，隐式地建模跨模态关联，从而更成功地实现大规模多模态预训练。同时，他们还建立了一个大规模的中文多源图像文本语料库，称为 RUC-CAS-WenLan，用于 BriVL 模型的预训练。实验结果表明，预训练的 BriVL 模型在各种下游任务中的性能优于 UNITER 和 OpenAI CLIP。

Mar, 2021

通过引入 LangBridge，我们介绍了一种零 - shot 方法，用于在没有多语言监督的情况下适应语言模型的多语种推理任务。虽然仅利用英语数据进行训练，LangBridge 显着提高了语言模型在数学推理、编码和逻辑推理等低资源语种上的性能。我们分析表明，LangBridge 的有效性来自多语种表示的语言无关特性。我们公开发布了我们的代码和模型。

Jan, 2024

研究发现，多模态交互在聊天机器人对话中显著提升了用户参与度，尤其是通过三个模态的结合，可以进一步增强用户参与度和信息理解，这为聊天机器人设计提供了有价值的洞见，并向广大人工智能社区阐述了多模态交互在提升用户参与度方面的益处。

Jun, 2024

提出 LLMBind 框架，结合大型语言模型和预训练任务模型，实现多模态任务的综合集成，通过多领域专家的协作学习来处理各种多模态任务，展示了创建统一 AI 代理模型通用模态的潜力。

Feb, 2024

为了解决现有多模态模型在多图像、多轮对话中处理交叉图像和文本输入的能力不足的问题，我们提出了 DeepSpeed-VisualChat 框架，以优化大型语言模型的性能，并提升大型视觉和语言模型处理交叉输入的能力。相比现有框架，DeepSpeed-VisualChat 在多模态语言模型方面具有较高的可伸缩性，并为未来的探索奠定了坚实的基础。

Sep, 2023

探索利用图片等多模态语境来改善对话系统，使用自然语言数据集 MMChat，通过人工筛选和过滤得到 MMChat-hf，利用注意力机制改善生成任务的稀疏性，结果表明引入图片特征的有效性和处理稀疏性的效力。

Aug, 2021

聊天 GPT 通过开发的 MultiAPI 数据集评估了多模态任务中大型语言模型的表现，研究发现在 API 调用决策、领域识别、功能选择和参数生成等方面存在挑战，并提出了解决这些问题的新方法，为未来 LLM 研究指明了方向。

Nov, 2023