Sep, 2023

Pirá 2.0 基准：关于海洋、巴西海岸和气候变化的阅读理解数据集

PDF
TL;DRPir'a 是一个以海洋、巴西海岸和气候变化为重点的阅读理解数据集，从科学摘要和报告集合构建而成。本文定义了六个基准，对 Pir'a 数据集进行了测试，涵盖封闭生成问题回答、机器阅读理解、信息检索、开放性问题回答、答案触发和多项选择问题回答。结果为对 Pir'a 数据集的挑战提供了几个参考点。
pir'areading comprehension datasetoceanbrazilian coastclimate change
发现论文，激发创造
  • Pirá：一个关于海洋的葡萄牙语 - 英语双语问答数据集

    本论文介绍了 Pirá 数据集，是首个包括葡萄牙语文本和双语问答集的 QA 数据集，数据集有助于自然语言处理中的问题回答、信息检索和机器翻译等任务。

    Feb, 2022

  • ClimaBench: 英文气候变化文本理解基准数据集

    本文提出了 Climate Change Benchmark（ClimaBench），这是一个用于系统评估 CC NLU 任务模型性能的基准收集现有不同数据集的基准。我们从公开可用的环境披露中筛选了两个大规模的标记文本分类和问答数据集，并提供了数据分析。

    Jan, 2023

  • BiPaR：小说多语言和跨语言阅读理解的双语平行数据集

    本研究提出了 BiPaR—— 一种双语平行小说式机器阅读理解 (MRC) 数据集，它是为支持多语言和跨语言阅读理解而开发的。BiPaR 具有好的问题前缀、答案类型多样性和问题与段落之间的关系多样性，需要核心指代消解、多句子推理和隐含因果关系等阅读理解技能。实验证明，强大的 BERT 模型在这个数据集上与人类之间的差距非常大，BiPaR 为小说的单语、多语和跨语言 MRC 提供了一个具有挑战性的试验平台。

    Oct, 2019

  • 评估机器阅读理解数据集的基准测试能力

    本篇研究提出了一种半自动化的消融实验方法，通过检查即使除去与语言理解相关的特征后是否仍然能回答问题，来评估语言理解能力挑战数据集的性能，实验结果表明，很多问题并不需要语法复杂的推理，为了精准评估 MRC 数据集，需要在设计时额外注意。

    Nov, 2019

  • Belebele 基准测试：122 种语言变体的平行阅读理解数据集

    我们提供了 Belebele，这是一个涵盖了 122 种语言的多选机器阅读理解（MRC）数据集。该数据集显著扩展了自然语言理解（NLU）基准的语言覆盖范围，在高、中、低资源语言中评估了文本模型，从而使得对模型性能的直接比较成为可能。通过这个数据集，我们评估了多语言掩码语言模型（MLMs）和大型语言模型（LLMs）的能力，并得出了一些结论。

    Aug, 2023

  • RACE: 大规模考试阅读理解数据集

    RACE 是一个用于中学生阅读理解任务评估的新数据集，由近 28,000 个人类专家（英语教师）生成的近 100,000 个问题组成，涵盖了各种主题，特别是对推理的要求比其他基准数据集要高，是研究和评估机器理解的有价值的资源。

    Apr, 2017

  • PQuAD：一个波斯语问答数据集

    我们介绍了一个众包的波斯语阅读理解数据集，包括 80,000 个问题和答案，其中 25％的问题是具有对抗性无法回答的，该数据集被用于建立波斯语阅读理解和提供基线结果的研究。

    Feb, 2022

  • QA 数据集爆炸：问答和阅读理解的自然语言处理资源分类

    本文回顾了近年来深度学习模型在自然语言处理中的研究，并着重探讨了问题回答和阅读理解方面逾 80 种新数据集。除此之外，对现有各种格式和领域的资源进行了总结，并提出了新的技能分类法以及对过度专注于英语的影响。最后旨在为从业者和研究人员提供指引。

    Jul, 2021

  • PCoQA：波斯语会话问答数据集

    通过引入 PCoQA 数据集，本研究旨在为会话式问答研究提供第一个波斯语会话式问答数据集，包含多达 9,026 个背景驱动的问题，涉及提问者、回答者和维基百科文档。该数据集对以往问答数据集提供了新的挑战，包括更多开放性非事实性答案、较长答案和更少的词汇重复。本文还介绍了多种基准模型的性能，包括基线模型和预训练模型，并使用预训练模型提升了性能。有关数据集和基准模型可在我们的 Github 页面上获取。

    Dec, 2023

  • ORB: 一个开放的阅读基准评估工具，用于机器阅读理解的全面评估

    介绍了一种评估服务器 ORB，可以测试模型在 7 个不同的阅读理解数据集上的表现，并且没有制约模型训练的限制，这是一个探索通用阅读能力的训练范式和表征学习的测试平台。

    Dec, 2019