我们推出了 EXAMS-V，一个新的多学科多模态多语言考试基准，用于评估视觉语言模型。它包含了 20932 个跨越自然科学、社会科学和其他各种学科的多项选择题，如宗教、美术、商务等。EXAMS-V 包含了多种多模态特征，例如文本、图像、表格、图表、图解、地图、科学符号和方程式。这些问题来自于 7 个语系的 11 种语言。与现有的基准不同，EXAMS-V 是通过收集各个国家的校园考试问题，采用多样化的教育体系进行精心策划的。这种独特的方法需要进行复杂的推理，涉及多种语言和地域特定的知识。解决数据集中的问题需要对文本和图像内容进行高级感知和联合推理。我们的评估结果表明，即使对于像 GPT-4V 和 Gemini 这样的先进视觉 - 文本模型，这也是一个具有挑战性的数据集；这凸显了数据集的内在复杂性以及作为未来基准的重要性。

Mar, 2024

该论文介绍了一种利用人类考试题目来全面评估大型语言模型（LLMs）的基准测试 M3Exam，该测试具有多语言、多模态和多级结构的特点，在低资源和非拉丁语文本方面，当前模型（包括 GPT-4）仍然难以应对多语言文本，同时多模态 LLMs 在复杂多模态问题上表现不佳。

Jun, 2023

大型语言模型的基准评估 SciEx 提出，用于评估 LLM 在解决科学任务上的能力，并通过比较 LLM 和学生在 SciEx 上的表现，提出了 LLM 作为评分者的方法。

Jun, 2024

通过引入 CMExam 数据集，该研究在医学领域中解决了对大型语言模型进行评估的挑战，同时还通过对 CMExam 的深入分析，详细介绍了 LLMs 在中国医学中的表现和挑战。

Jun, 2023

我们介绍了一个新颖的心理学基准测试 CPsyExam，该测试由来自中文考试的问题构成。CPsyExam 着重于将心理学知识和案例分析分开，认识到将心理学知识应用于实际场景的重要性。从 22k 个问题中选取 4k 个问题构成的基准测试，它涵盖了各种学科，结合了多样的案例分析技术。此外，我们评估了一系列现有的大型语言模型（LLMs），从开源到 API-based 模型不一而足。我们的实验和分析表明，CPsyExam 是提高 LLMs 对心理学理解的有效基准测试，同时可以比较各种粒度下的 LLMs。

May, 2024

BLUEX 数据集为评价自然语言理解和推理在葡萄牙语中的最先进技术提供了基准，并标注了图像在每个问题中的位置，是推进多模态语言理解和推理技术的宝贵资源。

Jul, 2023

介绍了一个新的 Vietnamese National High School Graduation Examination 数据集，用于评估大型语言模型 (LLMs) 在多任务情况下的表现，其中包含文本和相关图像，并使用 ChatGPT 和 BingChat 对其进行评估，结果表明大型语言模型在文学、英语、历史、地理和公民教育方面能达到人类水平，但在数学、物理、化学和生物等领域还有提升的空间。该数据集旨在为评估 LLMs 的能力提供足够的基准，并督促未来更多的 LLMs 在数学和自然科学领域的发展。

May, 2023

该论文介绍了一个名为 XTREME 的跨语言多任务基准测试，它可以在 40 种语言和 9 个任务上评估多语言表示的跨语言泛化能力，研究表明，跨语言模型在句法和句子检索任务上的性能仍有相当大的差距，该基准测试旨在促进跨语言学习方法的研究。

Mar, 2020

本文提出了一种新的基准测试框架，Language-Model-as-an-Examiner，其中 LM 作为一个知识丰富的考官，提出问题，并以无参考的方式评估答复，以便更全面和公平地评估模型。

Jun, 2023

本研究介绍了一个高质量的包含 3397 个样本的数据集，其中包含多项选择题、答案（包括干扰项）以及其来源文档，可用于问题与干扰项的生成以及探索新的挑战，同时伴随着 Bloom 的认知复杂性水平。所有问题均由专业人员生成以确保其符合教育及学习标准，该数据集对于教育域的研究和评估具有重要价值。

Oct, 2022