IsoBench: 基于同构表示的多模态基础模型对比

Apr, 2024

IsoBench: 基于同构表示的多模态基础模型对比

IsoBench: Benchmarking Multimodal Foundation Models on Isomorphic Representations

Deqing Fu, Ghazal Khalighinejad, Ollie Liu, Bhuwan Dhingra, Dani Yogatama...

TL;DR当前的基础模型在以文本或图像和文本输入作为提示时都展现出令人印象深刻的能力。然而，它们的能力是否因输入模态的不同而改变呢？本研究提出了一种名为 IsoBench 的基准数据集，其中包含了来自数学、科学、算法和游戏四个主要领域的问题。每个示例都以多种同构表示形式呈现，如视觉、文本和数学表达。IsoBench 提供了细粒度的反馈，以诊断由表示形式引起的性能差距。在各种基础模型中，我们发现在同一个问题上，模型对文本表示有一致的偏好。尤其是，在对所有 IsoBench 问题进行评估时，Claude-3 Opus 模型在提供图像而不是文本时表现较差，差距为 28.7 分；同样，GPT-4 Turbo 差距为 18.7 分，Gemini Pro 差距为 14.9 分。最后，我们提出了两种提示技术，即 IsoCombination 和 IsoScratchPad，通过考虑不同输入表示之间的组合和转换，提高了模型的性能。

Abstract

Current foundation models exhibit impressive capabilities when prompted either with text only or with both image and text inputs. But do their capabilities change depending on the input modality? In this work, we propose $\textbf{→

foundation models isobench isomorphic representations textual representations prompting techniques

发现论文，激发创造

MultiBench: 多模态表示学习的多尺度基准

MultiBench 是一个系统性和统一化的基准测试，跨越 15 个数据集，10 种模态，20 种预测任务和 6 个研究领域。MultiBench 提供自动化的端到端机器学习流程，简化和标准化数据加载，实验设置和模型评估。随着大量的实践证明，不同研究领域提出的方法可以改善 9/15 数据集的最先进性能。MultiBench 处理了跨模态一般化，复杂性和健壮性的问题，对于未来研究具有重要的挑战性，包括可扩展性到大规模多模态数据集和对现实缺陷的健壮性。

Jul, 2021

MuirBench: 强大多图像理解综合基准测试

MuirBench 是一个全面的基准测试，侧重于多模式 LLM 的强大的多图像理解能力。MuirBench 由 12 个不同的多图像任务（如场景理解，排序）组成，涉及 10 个多图像关系类别（如多视图关系，时间关系）。通过评估 20 种最新的多模态 LLMs，结果显示即使在表现最佳的模型 GPT-4o 和 Gemini Pro 面对 MuirBench 时也面临挑战，准确率分别为 68.0% 和 49.3%。基于单个图像训练的开源多模态 LLMs 很难推广到多图像问题，准确率低于 33.3%。这些结果凸显了 MuirBench 的重要性，鼓励社区开发能够超越单个图像的多模态 LLMs，并提出未来改进的潜在途径。

Jun, 2024

OlympiadBench：一个挑战性的基准测试，旨在推动具备奥林匹克级双语多模式科学问题的通用人工智能

我们提出了 OlympiadBench，这是一个奥林匹克级双语多模态科学基准，包含来自奥林匹克级数学和物理竞赛以及中国大学入学考试的 8,952 个问题，每个问题都有专家级的逐步推理注释。我们在 OlympiadBench 上评估了一流的模型，并实施了全面的评估方法，从而准确评估模型的响应能力。最佳模型 GPT-4V 在 OlympiadBench 上的平均得分为 17.23％，物理得分仅为 11.28％，突出了基准的严谨性和物理推理的复杂性。我们的分析指出了 GPT-4V 存在的幻觉、知识遗漏和逻辑谬误等普遍问题。希望我们挑战性的基准可以成为未来 AGI 研究努力的宝贵资源。

Feb, 2024

PhyBench：用于评估文本到图像模型的物理常识基准

通过引入 PhyBench 评估数据集，我们评估了 6 个主要的 T2I 模型，发现当前的 T2I 模型主要关注文本到图像翻译，缺乏对物理常识的深入推理；我们提倡对 T2I 模型内在知识的更多关注，超越它们仅仅作为图像生成工具的实用性。

Jun, 2024

MIBench：在多个图像上评估多模态大型语言模型

基于 LLM 的能力，我们提出了一个新的基准 MIBench，以全面评估 MLLM 在多图像场景中的细粒度能力。我们将多图像能力分为三个场景，通过构建 13 个任务和 13000 个标注样本进行评估。结果表明，尽管当前模型在单图像任务上表现出色，但在面对多图像输入时仍存在一些问题，如细粒度感知混淆、有限的多图像推理和不稳定的上下文学习。

Jul, 2024

多任务基准测试中文本至图像模型的人类评估

我们提供了一个新的多任务基准，用于评估文本到图像模型，在计算机视觉和机器学习领域中进行了广泛的研究，我们进行了人类评估，比较了最常见的开源（稳定扩散）和商业（DALL-E 2）模型，在三个难度级别上的三个任务上，跨十个提示，提供了 3,600 个评分。

Nov, 2022

推进几何问题求解：多模型评估的全面基准

通过 MM-MATH 数据集，该研究旨在评估多模态模型在几何计算领域的性能，发现当前模型从图像中解析和解释几何信息存在显著不足，强调评估方法应包括推理和过程正确性，以填补文本和图像理解方面的关键差距，以此激发进一步研究和发展，推动多模态模型能力的提升。

Apr, 2024

MMBench: 您的多模型是否是全能选手？

提出了一种新的多模式基准测试方法 MMBench，通过精心策划的数据集和结合 CircularEval 策略和 ChatGPT 的方法来对大视觉语言模型进行综合评估，旨在帮助研究社区更好地评估其模型以及鼓励未来的进步。

Jul, 2023

AGIBench: 一个多粒度、多模态、人用参考、自动评分的大型语言模型基准

这篇论文提出了 AGIBench - 一种多粒度多模态人工参考和自动评分的大型语言模型评估基准方法。

Sep, 2023

REBUS: 理解符号的稳健评估基准

我们提出了一个新的基准，用于评估多模态大型语言模型在谜题上的表现。该数据集包含 333 个原始的图像类文字游戏示例，包括电影、作曲家、主要城市和食物等 13 个类别。为了在评估被提示的单词或短语的基准上取得良好的性能，模型必须结合图像识别和字符串处理，进行假设检验、多步推理和对人类认知的理解，从而进行复杂的多模态能力评估。我们发现，专有模型如 GPT-4V 和 Gemini Pro 明显优于所有其他测试模型。然而，即使是最好的模型最终的准确率也只有 24%，突显了在推理方面需要重大改进。此外，模型很少理解谜题的所有部分，几乎无法事后解释正确答案。因此，我们的基准测试可以用于识别多模态大型语言模型在知识和推理方面的主要不足之处。

Jan, 2024