Feb, 2024

PCA-Bench: 评估感知 - 认知 - 行动链中的多模态大型语言模型

PDF
TL;DRPCA-Bench 是一个用于评估多模态大型语言模型（MLLMs）综合能力的多模态决策基准，引入了三个复杂场景：自动驾驶、家庭机器人和开放世界游戏，并提出了误差定位能力和自动评估协议 PCA-Eval 对 10 种著名 MLLM 进行评估结果显示开源模型和 GPT-4 Vision 等强大专有模型之间存在显著性能差异，通过引入基于体验环境的自动框架 Embodied-Instruction-Evolution（EIE），在 PCA-Bench 中生成了 7,510 个训练示例，并提高了开源 MLLM 的性能，偶尔超越 GPT-4 Vision（+3％决策准确性），验证了 EIE 的有效性，发现 GPT4-Vision 之类的鲁棒 MLLM 对体验型代理的决策具有潜力，为 MLLM 研究开辟了新的道路。
pca-benchmultimodal large language modelsautonomous drivingdomestic roboticsopen-world games
发现论文，激发创造
  • 通过多模态大型语言模型实现端到端的具身决策: GPT4-Vision 及其后续探索

    通过 PCA-EVAL 基准和 HOLMES 多智能体协作框架的比较，我们发现 GPT4-Vision 模型在端到端的具体决策制定能力方面表现出色，平均决策准确率比 GPT4-HOLMES 高出 3%，但这种性能仅适用于最新的 GPT4-Vision 模型，超过开源最先进的多模态大型语言模型的 26%。我们的结果表明，像 GPT4-Vision 这样功能强大的多模态大型语言模型对具体决策有很大的潜力，为多模态大型语言模型研究开辟了新的途径。

    Oct, 2023

  • MLLM-Bench，使用 GPT-4V 评估多模式 LLMs

    为了追求人工通用智能（AGI），将视觉集成到语言模型中标志着一个重要里程碑。视觉语言模型（MLLMs）的出现，如 GPT-4V，扩展了人工智能应用程序，与人脑的多模态能力相匹配。然而，评估 MLLMs 的有效性面临着重大挑战，因为缺乏确定性答案的任务具有主观性。现有的多模态大型语言模型的自动评估方法依赖于具有标准答案的客观查询，并未充分解决创造性和联想性多模态任务的细微差别。为了解决这个问题，我们引入了 MLLM-Bench，这是一个受 Vicuna 启发的创新基准，涵盖了各种场景，包括感知、理解、应用、分析、评估和创作，以及伦理考虑。MLLM-Bench 的设计更加准确地反映用户体验，并提供了对模型性能更全面的评估。对比评估结果表明，现有的开源模型和 GPT-4V 之间存在显著的性能差距。我们认为，MLLM-Bench 将推动开源社区在开发能满足广泛实际应用需求的用户导向视觉语言模型方面取得进展。请访问 https://mllm-bench.llmzoo.com 查看在线排行榜。

    Nov, 2023

  • MMT-Bench：一个综合评估大型视觉语言模型向多任务人工通用智能发展的多模态基准

    该研究介绍了 MMT-Bench，这是一个综合性评估基准，旨在评估大规模视觉 - 语言模型（LVLM）在多种跨领域的多模态任务上的能力，并促进下一代通用多模态智能基础模型的发展。

    Apr, 2024

  • MIA-Bench: 多模态 LLMs 的更好指令遵循评估

    我们引入了 MIA-Bench，一个新的基准测试，旨在评估多模态大型语言模型在其严格遵循复杂指令方面的能力。通过评估各种最先进的多模态大型语言模型，我们发现性能存在显著差异，突出了指令准确性方面的改进空间。此外，我们创建了额外的训练数据，并探索监督微调来提高模型在严格遵循指令的能力，而不牺牲其他任务的性能。我们希望这个基准测试不仅可用于测量多模态大型语言模型对指令的遵循程度，还能指导未来的多模态大型语言模型训练方法的发展。

    Jul, 2024

  • MMBench: 您的多模型是否是全能选手？

    提出了一种新的多模式基准测试方法 MMBench，通过精心策划的数据集和结合 CircularEval 策略和 ChatGPT 的方法来对大视觉语言模型进行综合评估，旨在帮助研究社区更好地评估其模型以及鼓励未来的进步。

    Jul, 2023

  • PaLM-E：一个实体多模语言模型

    研究提出了一种具有体感的语言模型，其可以将现实世界的传感器和语言模型直接结合起来，从而实现语言和感知之间的链接，并且在多个机器人任务、图像问题解答和字幕生成等方面取得了良好的表现。

    Mar, 2023

  • MM-BigBench：评估多模态模型在多模态内容理解任务上的表现

    通过使用全面的评估框架 MM-BigBench，本文综合评估了 20 个语言模型（包括 14 个多模态大型语言模型）在 14 个多模态数据集上的性能，并通过引入新的指标，对不同模型和指令之间的性能以及适应性进行了评估。

    Oct, 2023

  • SEED-Bench-2：多模态大型语言模型基准测试

    我们提出了 SEED-Bench-2，这是一个综合评估多模态大型语言模型能力的基准测试，并通过对 23 个主要开源多模态大型语言模型的性能评估，揭示了现有模型的局限性。

    Nov, 2023

  • AesBench：多模态大型语言模型在图像美学感知方面的专业基准

    通过构建一个包含多样化图像内容和高质量专业审美专家注释的专家标记的美学感知数据库（EAPD）和一套综合性评判标准，我们提出了 AesBench 来全面评估多模态大规模语言模型（MLLMs）的美学感知能力，实验结果表明，目前的 MLLMs 只具有初步的美学感知能力，与人类之间仍然存在显著差距。希望此研究能激发学术界对 MLLMs 美学潜力的进一步探索。

    Jan, 2024

  • MME: 多模态大语言模型综合评估基准

    本文介绍了第一代 MLLM 评估基准 - MME 模型，并对 10 种先进的 MLLM 模型进行了全面评估，同时对模型优化的潜在方向进行了研究。

    Jun, 2023