Feb, 2024

SceMQA: 一项科学类高校入学水平的多模态问答基准

PDF
TL;DR本文介绍了 SceMQA，一种用于大学入学阶段的科学多模态问题回答的新型基准。它解决了现有基准中经常被忽视的关键教育阶段，涵盖了高中到预大学的水平。SceMQA 专注于数学、物理、化学和生物等核心科学学科。它采用多项选择和自由回答的形式，确保对人工智能模型能力进行全面评估。此外，我们的基准为每个问题提供了特定的知识点和详细的解释。SceMQA 还通过相同的背景但问题不同的方式，提供了更全面、准确的推理能力评估。在实验中，我们评估了开源和闭源的最先进多模态大语言模型（MLLM），在各种实验设置下进行了评估。结果显示，需要进一步研究和开发更强大的 MLLM，因为最强模型仅达到 50% 到 60% 的准确率。我们的基准和分析将在此 https URL 上提供。
scemqascientific multimodal question answeringbenchmarkcore science subjectsreasoning capabilities
发现论文，激发创造
  • SEMQA: 半抽取式多源问答

    最近提出的长篇问答（QA）系统，在大型语言模型（LLMs）的支持下，展示了令人期待的能力。然而，为其生成的抽象回答归因和验证可能困难，并且自动评估其准确性仍然是一个持续的挑战。在这项工作中，我们介绍了一个新的 QA 任务，通过半抽取方式总结多个多样化的来源来回答多回答问题。具体来说，半抽取多源 QA（SEMQA）要求模型输出一个综合回答，同时混合了由给定的输入来源直接拷贝的事实引用片段和将这些片段连接成一个连贯段落的非事实自由文本连接器。这个设置弥合了受基于事实抽取的 QA 系统约束的输出与更流畅但更难以归因的完全抽象回答之间的差距。特别地，它利用了语言模型的先进语言生成能力的新模式，同时通过设计产生易于验证、解释和评估的细致内联归因。为了研究这个任务，我们创建了第一个这样类型的数据集 QuoteSum，其中包含人工编写的对自然问题和生成问题的半抽取回答，并定义了基于文本的评估指标。在不同设置下尝试了几个 LLM 后，我们发现这个任务出人意料地具有挑战性，这展示了 QuoteSum 用于开发和研究这种整合能力的重要性。

    Nov, 2023

  • 基于理性推理的多模态迷因问答

    通过引入 MemeMQA 和 ARSENAL，本研究分析了表情包在多模态沟通中的解释和理解，并展示了 MemeMQA 在回答准确性和文本生成等方面的优越性。

    May, 2024

  • MedMCQA：医学领域问题回答的大规模多学科多选择题数据集

    MedMCQA 是一个新的大型多项选择题答题数据集，收集了超过 194,000 个高质量的 AIIMS 和 NEET PG 考试的 MCQs，涵盖 2,400 多个医疗主题和 21 个医学科目，并测试模型在广泛的医学主题和话题上的 10 + 种推理能力。

    Mar, 2022

  • RoMQA: 鲁棒性、多证据、多答案问答基准

    RoMQA 是第一个鲁棒、多证据、多答案问答基准测试，它基于 Wikidata 知识图谱的相关限制生成问题集群，并通过测量每个问题集群中的最坏性能来评估 QA 模型对各种限制的鲁棒性。与先前的 QA 数据集相比，RoMQA 具有更多需要对更多证据文本进行推理的人类编写问题，并且平均有更多正确答案。此外，人类注释员评价 RoMQA 问题更自然或更有可能被人们问到。

    Oct, 2022

  • MultiModalQA: 文本、表格和图像的复杂问答

    本文介绍了一个名为 “MultiModalQA (MMQA)” 的数据集，该数据集需要通过对文本、表格和图像的联合推理来回答问题。作者还创建了一个新框架来生成复杂的多模态问题，并演示了多模态多跳方法在解决这一任务中的必要性。

    Apr, 2021

  • SciBench：评估大规模语言模型的大学科学问题解决能力

    最近大型语言模型 (LLM) 在许多数学基准上取得显著进展，但大多数基准只涉及初高中科目的问题和多项选择题，且仅限于有限范围的基本算术操作。为解决这些问题，本文引入了一个广泛的基准套件 SciBench，旨在系统地检验复杂科学问题解决所需的推理能力。SciBench 包含两个精心策划的数据集：一个开放集，包含从数学、化学和物理教科书中提取的多领域的大学级科学问题；一个封闭集，包含了计算机科学和数学本科考试中的问题。基于这两个数据集，我们对两个代表性 LLM 进行了深入的基准研究，采用多种提示策略。结果表明，当前 LLM 的表现不尽如人意，综合得分仅为 35.80%。此外，通过详细的用户研究，我们将 LLM 的错误归类为十种问题解决能力。我们的分析表明，没有一种单一的提示策略明显优于其他策略，而且一些策略在某些问题解决技能上的提高会导致其他技能下降。我们预计 SciBench 将催生 LLM 的推理能力进一步发展，从而最终促进科学研究和发现。

    Jul, 2023

  • GeoSQA：高中地理领域基于情境的问答基准

    该研究介绍了 GeoSQA 数据集，它包括 1,981 个高中地理领域的场景和 4,110 个多项选择题。通过手动注释自然语言描述的图表，为 NLP 研究提供了便利，并在问答、文本蕴含和阅读理解方面对各种最先进的方法进行了基准测试，证明了 SQA 对未来研究的独特挑战。

    Aug, 2019

  • LibriSQA：以新颖的数据集和框架进行自由形式和开放式口语问答的先驱

    通过提出一个轻量级、端到端的框架并改进音频识别任务，本研究展示了大规模语言模型（LLMs）在处理多模态功能方面的能力，尤其是对于口语问答任务（SQA）的需求，以及语音和文本特征之间的精确对齐和深入交互。

    Aug, 2023

  • 多模态问题回答的统一信息提取

    利用我们提出的多模态问答（MQA）框架，将多模态信息提取（MIE）任务统一为一个统一的片段提取和多项选择问答流水线，从而提高了各种类型的现成大型多模态模型在 MIE 任务上的性能，特别是在零样本和少样本情况下，我们的框架能够使 LMM 在与 ChatGPT 和 GPT-4 等更大的语言模型竞争或超越的 10B 参数尺度上获得更好的表现，从而将 MQA 框架作为利用 LMMs 解决 MIE 和其他下游多模态任务的一般原则。

    Oct, 2023

  • SciEx：基于人工评分和自动评分的科学考试大型语言模型评测

    大型语言模型的基准评估 SciEx 提出，用于评估 LLM 在解决科学任务上的能力，并通过比较 LLM 和学生在 SciEx 上的表现，提出了 LLM 作为评分者的方法。

    Jun, 2024