Jul, 2023

SEED-Bench: 用生成理解评估多模态 LLMs 的基准

PDF
TL;DR基于强大的大型语言模型（LLMs），最近的生成式多模态大型语言模型（MLLMs）作为一个关键的研究领域备受关注，展示了出色的理解和生成能力。本研究通过引入一个名为 SEED-Bench 的基准测试，解决了 MLLMs 生成理解的评估问题，该基准测试包含 19K 个准确的多项选择问题（是现有基准测试的 6 倍大），涵盖了 12 个评估维度，包括图像和视频模态的理解。我们开发了一个高级流程用于生成以特定评估维度为目标的多项选择问题，该流程整合了自动过滤和人工验证过程。由人类注释导出的带有真实选项的多项选择问题可以客观且高效地评估模型性能，在评估过程中无需人类或 GPT 的干预。我们进一步评估了 18 个模型在所有 12 个维度上的性能，涵盖了空间和时间的理解。通过评估结果揭示现有 MLLMs 的局限性，我们希望 SEED-Bench 为激发未来的研究提供见解。我们将建立并持续维护一个排行榜，为社区提供评估和研究模型能力的平台。
发现论文，激发创造
  • SEED-Bench-2：多模态大型语言模型基准测试

    我们提出了 SEED-Bench-2，这是一个综合评估多模态大型语言模型能力的基准测试，并通过对 23 个主要开源多模态大型语言模型的性能评估，揭示了现有模型的局限性。

    Nov, 2023

  • SEED-Bench-2-Plus：基于多模态大型语言模型的文本丰富视觉理解基准测试

    我们介绍了 SEED-Bench-2-Plus，这是一个专门设计用于评估 MLLMs 的文本丰富视觉理解的基准，通过涵盖现实世界中的三个广泛类别（图表、地图和网络），它们有效地模拟了复杂多样的文本丰富环境，并强调了当前 MLLMs 在文本丰富视觉理解方面的限制。

    Apr, 2024

  • MLLM-Bench，使用 GPT-4V 评估多模式 LLMs

    为了追求人工通用智能（AGI），将视觉集成到语言模型中标志着一个重要里程碑。视觉语言模型（MLLMs）的出现，如 GPT-4V，扩展了人工智能应用程序，与人脑的多模态能力相匹配。然而，评估 MLLMs 的有效性面临着重大挑战，因为缺乏确定性答案的任务具有主观性。现有的多模态大型语言模型的自动评估方法依赖于具有标准答案的客观查询，并未充分解决创造性和联想性多模态任务的细微差别。为了解决这个问题，我们引入了 MLLM-Bench，这是一个受 Vicuna 启发的创新基准，涵盖了各种场景，包括感知、理解、应用、分析、评估和创作，以及伦理考虑。MLLM-Bench 的设计更加准确地反映用户体验，并提供了对模型性能更全面的评估。对比评估结果表明，现有的开源模型和 GPT-4V 之间存在显著的性能差距。我们认为，MLLM-Bench 将推动开源社区在开发能满足广泛实际应用需求的用户导向视觉语言模型方面取得进展。请访问 https://mllm-bench.llmzoo.com 查看在线排行榜。

    Nov, 2023

  • MM-BigBench：评估多模态模型在多模态内容理解任务上的表现

    通过使用全面的评估框架 MM-BigBench，本文综合评估了 20 个语言模型（包括 14 个多模态大型语言模型）在 14 个多模态数据集上的性能，并通过引入新的指标，对不同模型和指令之间的性能以及适应性进行了评估。

    Oct, 2023

  • MileBench: 在长上下文中评测多语言大型语言模型

    该研究旨在通过引入 MileBench 基准来系统评估多模态大型语言模型（MLLMs）在长上下文和多图像任务中的适应能力，并发现开源 MLLMs 在长上下文情境中面临着挑战，尤其在涉及多图像的情景下。

    Apr, 2024

  • SEED-X：统一多粒度理解与生成的多模态模型

    模态基础模型在视觉语言理解和生成方面取得了显著的进展，但是存在应用能力和真实世界适应性之间的差距。本文提出了一种统一和多功能的基础模型 SEED-X，通过整合两个增强特性来弥合这一差距：（1）理解任意大小和比例的图像，（2）实现多粒度图像生成。SEED-X 在公共基准测试中取得了竞争性结果，并在指导调节后展示了在各个领域处理真实世界应用的有效性。我们希望我们的工作能够启发未来研究，探索多功能模态基础模型在真实世界应用中的潜力。模型、代码和数据集将在此 URL 中发布。

    Apr, 2024

  • MME: 多模态大语言模型综合评估基准

    本文介绍了第一代 MLLM 评估基准 - MME 模型，并对 10 种先进的 MLLM 模型进行了全面评估，同时对模型优化的潜在方向进行了研究。

    Jun, 2023

  • VisualWebBench：多模态 LLM 在网页理解和解释中的发展程度如何？

    多模式大型语言模型在网页相关任务中表现出了很大的潜力，评估其在网页领域的性能仍然是一个挑战，因为缺乏全面的基准测试。本文引入了一个名为 ench {} 的多模式基准测试，其设计旨在评估 ML 近几年在网页任务中的能力。通过在 ench {} 上评估了 14 个开源 MLLMs，如 Gemini Pro、Claude-3 系列和 GPT-4V (ision)，我们揭示了重要挑战和性能差距。进一步的分析突出了当前 MLLMs 的限制，包括在文本丰富环境中缺乏足够的基础知识，并在低分辨率图像输入下表现不佳。我们相信 ench {} 将成为研究界宝贵的资源，并为网页相关应用的更加强大和多功能的 MLLMs 的创建做出贡献。

    Apr, 2024

  • 多模态理解排行榜：文本与图像

    Multi 是一种多模态大型语言模型（MLLMs）的先进基准测试，提供了综合数据集，用于评估 MLLMs 在理解复杂图表、科学问题等方面的表现，并挑战包括公式推导、图像细节分析和跨模态推理在内的多样任务。评估结果表明，MLLMs 在 Multi 上取得了显著的进展，与其他 MLLMs 相比，GPT-4V 的准确率达到了 63.7%，Multi 不仅是一个强大的评估平台，也为专家级 AI 的发展铺平了道路。

    Feb, 2024

  • 用 SEED 令牌化器使 LLaMA 具备视觉和绘图能力

    通过引入 SEED 图像标记器，使 LLMs 能够在其原始训练配方下执行可扩展的多模式自回归，并在广泛的多模式理解和生成任务中展示出令人印象深刻的性能。

    Oct, 2023