通过研发 MIRAI 这一新的基准测试，我们全面评估了大型语言模型在国际事件预测方面的能力，从而为国际关系分析的更准确可靠的模型的开发做出了贡献。

Jul, 2024

通过引入 103 个 API 来扩展传统的 UI 操作，结合真实用户查询和 LLMs 的扩充数据，Mobile-Bench 提出了一种评估 LLM-based 移动代理能力的新型基准，其中包括 832 个数据输入和 200 多个任务，特别设计用于评估多应用程序协作场景，并引入了一种名为 CheckPoint 的更准确的评估指标来评估 LLM-based 移动代理在规划和推理步骤中是否达到关键点。

Jul, 2024

提出了一种名为 VisEval 的新的 NL2VIS 基准，该基准通过引入高质量大规模数据集并倡导综合自动化评估方法，揭示了目前研究中普遍存在的挑战并为未来的进一步发展提供了重要的见解。

Jul, 2024

通过一个全面的基准测试，本文研究了深度表格方法和基于树的方法在各种任务类型、大小分布和领域中的性能排名以及影响深度表格方法成功的关键因素，并提取了对预测准确性起决定性作用的元特征。这些研究将进一步促进表格数据的研究。

Jul, 2024

通过构建一个多模式长上下文的基准数据集，本研究表明长上下文文档理解对于当前的大型视觉 - 语言模型 (LVLMs) 来说是个巨大挑战，并验证了未来研究更强大的长上下文 LVLMs 的必要性。

Jul, 2024

WE-MATH 是第一个旨在探索问题解决原则的基准测试，通过分解复合问题，并引入新的四维度评估指标，评估了 LMMs 在视觉数学推理中的固有问题，为知识获取与泛化提供支持，评估现有 LMMs 在视觉数学推理中的表现，揭示了求解步骤与问题特定表现之间的负相关，并指出 GPT-4o 的主要挑战由不足的知识转变为不足的泛化。

Jul, 2024

这篇论文介绍了 GenderBias-VL 基准测试，通过使用反事实视觉问题评估 LVLMs 中与职业相关的性别偏见，以个体公平标准为基准。该基准测试包含 34,581 个视觉问题反事实对，涵盖了 177 个职业，发现现有的 LVLMs 普遍存在性别偏见。

Jun, 2024

通过提出 MMEvalPro 基准测试，我们针对多模态模型在视觉问题中的性能进行了评估的可靠性进行了改进，其结果表明该基准测试更具挑战性且更可信，为进一步推动未来研究提供了重要潜力。

Jun, 2024

尽管阿拉伯语作为一种全球语言的重要性日益增长，但是缺乏仅基于阿拉伯语数据进行预训练的语言模型。为了解决这一差距，我们介绍了两个新的基准，旨在评估阿拉伯语中模型的数学推理和语言理解能力。这些基准是从一种名为 Qiyas 考试的普遍用于沙特阿拉伯大学入学考试的综合能力测试 (GAT) 中提取的。为了验证目的，我们评估了 ChatGPT-3.5-trubo 和 ChatGPT-4 在我们的基准上的性能。我们的研究发现这些基准具有重大挑战，ChatGPT-4 在 Qiyas 基准的各种问题类型中的整体平均准确率为 64%，而 ChatGPT-3.5-trubo 在整体准确率上达到了 49%。我们相信这些基准的发布将为针对资源有限的阿拉伯语的未来模型的数学推理和语言理解能力的提升铺平道路。

Jun, 2024

评估多模态大型语言模型在机器人应用中的能力和可靠性，提出了第一个多模态 LLM for Robotic（MMRo）基准测试，并从感知、任务规划、视觉推理和安全度量等四个关键能力角度对现有模型的性能进行了实验评估，结果表明目前的模型还不足以信任其作为机器人的认知核心。

Jun, 2024