Feb, 2024

SPHINX-X：一个多模态大型语言模型系列的数据和参数扩展

PDF
TL;DR我们提出了 SPHINX-X，这是一个建立在 SPHINX 基础上的广泛的多模态大型语言模型系列。通过去除冗余的视觉编码器、利用跳过标记绕过全填充子图像，以及简化多阶段训练为一阶段的所有合一范式，我们改进了 SPHINX 框架的架构和训练效率。为了充分发挥多模态大型语言模型的潜力，我们组装了一个包括语言、视觉和视觉 - 语言任务中公开可用资源的全面多领域和多模态数据集。我们进一步通过我们精心策划的 OCR 密集和一系列标记数据集丰富了这个收集，扩展了多样性和普适性。通过在不同的基础 LLM 上进行训练，包括 TinyLlama1.1B、InternLM2-7B、LLaMA2-13B 和 Mixtral8x7B，我们获得了一系列参数大小和多语言能力各不相同的 MLLM。全面的基准测试显示，多模态性能与数据和参数规模之间存在着强烈的相关性。代码和模型已在此 URL 发布。
sphinx-xmultimodality large language modelarchitecturetraining efficiencymulti-domain and multimodal dataset
发现论文，激发创造
  • 基于数据中心视角的高效多模态学习

    通过探索更加信息丰富的训练数据，本文演示了击败规模定律并训练出更小但更强大的轻量级多模态大语言模型 Bunny，其背后利用了灵活的视觉和语言基础模块进行高效的多模态学习。

    Feb, 2024

  • X-LLaVA: 优化双语大型视觉语言对齐

    我们提出了两种解决多模态模型创建训练数据方面的问题的有效方法，并基于这些方法构建了一个 91K 的英 - 韩 - 中多语言多模态训练数据集，并开发了一种双语多模态模型，在韩语和英语方面表现出优秀的性能，超过了现有方法。

    Mar, 2024

  • 小语言模型的多模态助手全面重构

    在本文中，我们研究了 Multimodal Small Language Models（MSLMs）的设计方面，并提出了一种高效的多模态助手 Mipha，旨在在视觉表示、语言模型和优化策略等各个方面产生协同效应。我们展示了在不增加训练数据量的情况下，我们的 Mipha-3B 在多个基准测试中表现优于最先进的大型 MLLMs，尤其是 LLaVA-1.5-13B。通过详细讨论，我们提供了开发强大的 MSLMs 以与 MLLMs 能力匹敌的见解和指南。

    Mar, 2024

  • 绘制与理解：利用视觉提示使 MLLMs 能够理解您想要的内容

    我们介绍了 Draw-and-Understand 项目，其中包括一种新的多模域数据集和一种具有挑战性的视觉提示基准测试。我们提出了 SPHINX-V，一种新的端到端训练的多模域大型语言模型，用于连接视觉编码器、视觉提示编码器和语言理解模型，以实现各种视觉提示和语言理解。同时，我们还提出了 MDVP-Data 和 MDVP-Bench，用于促进多模域大型语言模型中的视觉提示研究，并提供了多领域数据集和具有挑战性的基准测试。我们的实验结果表明，SPHINX-V 通过视觉提示展现出了卓越的多模交互能力，并在详细的像素级描述和问答能力方面取得了显著的改进。

    Mar, 2024

  • MM1: 多模态 LLM 预训练的方法、分析与洞察

    讨论构建出色的多模态大型语言模型的重要组成部分和数据选择，通过仔细和全面的分析，证明了使用图像 - 标题、交错图像 - 文本和仅文本数据进行大规模多模态预训练对于在多个基准测试中实现最新成果至关重要。通过扩展所提出的模型，构建了以稠密模型和专家混合模型为特征的 MM1 系列多模态模型，这些模型在预训练指标上取得最新成果，并在一系列已建立的多模态基准测试中实现了有竞争力的性能。

    Mar, 2024

  • MammothModa: 多模大语言模型

    我们介绍了 MammothModa，这是另一个多模态大型语言模型（MLLM），旨在从基本基线实现最先进的性能。我们关注了三个关键设计见解：（i）在保持复杂语言理解的同时融入视觉能力：除了视觉编码器外，我们还将视觉注意力专家纳入 LLM 以增强其视觉能力。（ii）扩展上下文窗口以获得高分辨率和长持续时间的视觉特征：我们探索了视觉合并模块，以有效地减少高分辨率图像的标记数量，并引入了帧位置 ID 以避免位置插值。（iii）高质量的双语数据集：我们精心策划和筛选了一个高质量的双模态双语数据集，以减少视觉幻觉。通过上述方法，我们构建的 MammothModa 在主要的真实世界视觉语言基准测试中始终优于最先进的模型，例如 LLaVA 系列模型，而没有花里胡哨的东西。

    Jun, 2024

  • OneLLM：一种将所有模态与语言对齐的框架

    通过统一的多模态编码器和渐进式多模态对齐管道，OneLLM 将八种模态与语言对齐，以充分发挥其在指令跟随中的潜力；在全面的多模态指令数据集上进行评估，并在多模态字幕生成、问答和推理等任务中展现出优异性能。

    Dec, 2023

  • 通过将多模态视为外语来引导先进的大型语言模型

    本文提出了一种名为 X-LLM 的多模态语言模型，它将多种形式的信息转化为语言输入到 ChatGLM 中进行处理，实现了语言模型的多模态能力，具有与 GPT-4 相当的人工智能水平，同时还能用于语音识别和多模态语音识别。

    May, 2023

  • SEED-Bench-2：多模态大型语言模型基准测试

    我们提出了 SEED-Bench-2，这是一个综合评估多模态大型语言模型能力的基准测试，并通过对 23 个主要开源多模态大型语言模型的性能评估，揭示了现有模型的局限性。

    Nov, 2023

  • 面向通用多模态助手的视觉语言基础模型和数据集的重新构建

    最近的多模态大型语言模型 (MLLMs) 在感知图像以及遵循开放性指令方面表现出令人印象深刻的能力。MLLMs 的能力取决于两个关键因素：用于实现视觉模块和大型语言模型特征对齐的模型架构以及用于人类指令跟随的多模态指令调整数据集。本研究发现，紧凑的预训练视觉语言模型天然地可以作为视觉和语言之间 ' 开箱即用 ' 的桥梁。基于此，我们提出了 Muffin 框架，直接使用预训练的视觉语言模型作为视觉信号的提供者。此外，我们还提出了 UniMM-Chat 数据集，探索了数据集之间的补充关系，生成了 1.1M 个高质量而多样化的多模态指令。实验结果表明 Muffin 框架和 UniMM-Chat 数据集的有效性。Muffin 在广泛的视觉语言任务中实现了最先进的性能，显著超过了 LLaVA 和 InstructBLIP 等最先进模型。我们的模型和数据集均可在此链接处访问。

    Oct, 2023