Jul, 2023
SEED-Bench: 用生成理解评估多模态LLMs的基准
SEED-Bench: Benchmarking Multimodal LLMs with Generative Comprehension
TL;DR基于强大的大型语言模型（LLMs），最近的生成式多模态大型语言模型（MLLMs）作为一个关键的研究领域备受关注，展示了出色的理解和生成能力。本研究通过引入一个名为SEED-Bench的基准测试，解决了MLLMs生成理解的评估问题，该基准测试包含19K个准确的多项选择问题（是现有基准测试的6倍大），涵盖了12个评估维度，包括图像和视频模态的理解。我们开发了一个高级流程用于生成以特定评估维度为目标的多项选择问题，该流程整合了自动过滤和人工验证过程。由人类注释导出的带有真实选项的多项选择问题可以客观且高效地评估模型性能，在评估过程中无需人类或GPT的干预。我们进一步评估了18个模型在所有12个维度上的性能，涵盖了空间和时间的理解。通过评估结果揭示现有MLLMs的局限性，我们希望SEED-Bench为激发未来的研究提供见解。我们将建立并持续维护一个排行榜，为社区提供评估和研究模型能力的平台。