SIGIRMar, 2024

ArabicaQA: 阿拉伯问答系统的综合数据集

PDF
TL;DR本文介绍了 ArabicaQA，这是第一个用于阿拉伯语机器阅读理解和开放域问题回答的大规模数据集，包含了 89095 个可回答和 3701 个无法回答的问题，以及其他标记的开放域问题。同时还介绍了 AraDPR，这是第一个针对阿拉伯文本检索的密集段落检索模型，经过阿拉伯维基百科语料库的训练，专门用于解决阿拉伯文本检索中的独特挑战。此外，我们还对大型语言模型在阿拉伯语问题回答中进行了广泛的基准测试，并对其在阿拉伯语环境中的性能进行了批判性评估。总之，ArabicaQA、AraDPR 和在阿拉伯语问题回答中的语言模型基准测试为阿拉伯语自然语言处理领域带来了重要的进展。数据集和代码对于进一步研究都是公开可访问的。
发现论文，激发创造
  • 神经网络阿拉伯语问答

    本文介绍了一个使用维基百科作为知识来源来解决阿拉伯语开放领域事实问题回答的方法，提出了阿拉伯阅读理解数据集（ARCD），并使用预训练的双向转换器 BERT 构建了 SOQAL 系统来回答问题，实验结果表明其有效性。

    Jun, 2019

  • UQA: 乌尔都问答语料库

    介绍了 UQA，一个用于乌尔都语（Urdu）问答和文本理解的新数据集，通过一种称为 EATS 的技术，将斯坦福问答数据集（SQuAD2.0）的答案段落的翻译上下文中的答案范围进行保留，在两个候选项（Google Translator 和 Seamless M4T）中选择和评估最佳翻译模型，并对 UQA 上的几个最先进的多语言问答模型进行基准测试，其中包括 mBERT，XLM-RoBERTa 和 mT5，报告了有希望的结果。通过展示 EATS 对于创建其他语言和领域的高质量数据集的效果，证明了 UQA 对于开发和测试乌尔都语的多语言 NLP 系统以及增强现有模型的跨语言可迁移性是有价值的。UQA 数据集和代码可在 www.github.com/sameearif/UQA 上公开获取。

    May, 2024

  • NewsQA: 一个机器阅读理解数据集

    为了增加推理能力，我们通过四个阶段的过程收集有超过 10,000 篇 CNN 新闻文章的人类生成的问题 - 答案对的数据集 NewsQA，该数据集超过 100,000 个 QA 对，由众包工人提供，答案包含想对应文章的文本内容片段。人类的表现比现有神经模型的性能更好，这表明未来的研究可以在 NewsQA 上取得显著的进展。

    Nov, 2016

  • PQuAD：一个波斯语问答数据集

    我们介绍了一个众包的波斯语阅读理解数据集，包括 80,000 个问题和答案，其中 25％的问题是具有对抗性无法回答的，该数据集被用于建立波斯语阅读理解和提供基线结果的研究。

    Feb, 2022

  • 现代问答数据集和基准：一项调查

    本文调查了在深度学习时代发布的有影响力的问答数据集，并介绍了文本问答和视觉问答两个最常见的问答任务，涵盖了最具代表性的数据集，并提出了当前的一些 QA 研究挑战。

    Jun, 2022

  • JaQuAD: 用于机器阅读理解的日语问答数据集

    本文提出了 JaQuAD 数据集，它是一种由人类注释的日语问答数据集，用于非英语语言的 QA 任务的研究。该数据集由 39,696 个问题 - 答案对组成并且基于日本维基百科文章。我们针对基线模型进行微调，测试数据集上的 F1 得分为 78.92％，EM 为 63.38％。

    Feb, 2022

  • AmQA：阿姆哈拉问答数据集

    为了促进阿姆哈拉语 QA ​​(AmQA) 研究，我们提供了第一个阿姆哈拉语 QA ​​(AmQA) 资料集。我们通过众包收集了 2628 个问题 - 答案对，并运行了一个基于 XLMR Large 的基线模型来激发开放域 QA 研究兴趣。最佳性能基线在阅读器 - 检索 QA 和阅读理解设置中分别达到了 69.58 和 71.74 的 F-score。

    Mar, 2023

  • PCoQA：波斯语会话问答数据集

    通过引入 PCoQA 数据集，本研究旨在为会话式问答研究提供第一个波斯语会话式问答数据集，包含多达 9,026 个背景驱动的问题，涉及提问者、回答者和维基百科文档。该数据集对以往问答数据集提供了新的挑战，包括更多开放性非事实性答案、较长答案和更少的词汇重复。本文还介绍了多种基准模型的性能，包括基线模型和预训练模型，并使用预训练模型提升了性能。有关数据集和基准模型可在我们的 Github 页面上获取。

    Dec, 2023

  • KazQAD: 哈萨克语开放域问答数据集

    我们介绍了 KazQAD 这个哈萨克斯坦的开放域问题回答数据集，可用于阅读理解和完整的 ODQA 设置，以及信息检索实验。该数据集包含近 6,000 个独特问题、提取的简短答案和将近 12,000 个段落级相关性判断。我们使用机器翻译、维基百科搜索和内部手动注释的组合来确保注释效率和数据质量。问题来自两个来源：从自然问题（NQ）数据集翻译而来的项目（仅用于训练）和哈萨克统一国家考试（UNT）的原始考题（用于开发和测试）。相关的文本语料库包含来自哈萨克斯坦维基百科的超过 800,000 个段落。作为补充数据集，我们发布了大约 61,000 个问题 - 段落 - 答案三元组，这些三元组已经被机器翻译成了哈萨克语。我们开发了基准检索器和阅读器，在检索（NDCG@10 = 0.389 MRR = 0.382）、阅读理解（EM = 38.5 F1 = 54.2）和完整的 ODQA（EM = 17.8 F1 = 28.7）设置下取得了合理的分数。然而，与英文 QA 集合的最新结果相比，这些结果要低得多，我们认为仍然有很大的改进空间。我们还表明目前的 OpenAI 的 ChatGPTv3.5 无法以可接受的质量回答 KazQAD 的测试问题（闭卷设置）。该数据集在创作公共许可证（CC BY-SA）下免费提供，链接为 https URL。

    Apr, 2024

  • QA 数据集爆炸：问答和阅读理解的自然语言处理资源分类

    本文回顾了近年来深度学习模型在自然语言处理中的研究，并着重探讨了问题回答和阅读理解方面逾 80 种新数据集。除此之外，对现有各种格式和领域的资源进行了总结，并提出了新的技能分类法以及对过度专注于英语的影响。最后旨在为从业者和研究人员提供指引。

    Jul, 2021