COLINGApr, 2024

KazQAD: 哈萨克语开放域问答数据集

PDF
TL;DR我们介绍了 KazQAD 这个哈萨克斯坦的开放域问题回答数据集，可用于阅读理解和完整的 ODQA 设置，以及信息检索实验。该数据集包含近 6,000 个独特问题、提取的简短答案和将近 12,000 个段落级相关性判断。我们使用机器翻译、维基百科搜索和内部手动注释的组合来确保注释效率和数据质量。问题来自两个来源：从自然问题（NQ）数据集翻译而来的项目（仅用于训练）和哈萨克统一国家考试（UNT）的原始考题（用于开发和测试）。相关的文本语料库包含来自哈萨克斯坦维基百科的超过 800,000 个段落。作为补充数据集，我们发布了大约 61,000 个问题 - 段落 - 答案三元组，这些三元组已经被机器翻译成了哈萨克语。我们开发了基准检索器和阅读器，在检索（NDCG@10 = 0.389 MRR = 0.382）、阅读理解（EM = 38.5 F1 = 54.2）和完整的 ODQA（EM = 17.8 F1 = 28.7）设置下取得了合理的分数。然而，与英文 QA 集合的最新结果相比，这些结果要低得多，我们认为仍然有很大的改进空间。我们还表明目前的 OpenAI 的 ChatGPTv3.5 无法以可接受的质量回答 KazQAD 的测试问题（闭卷设置）。该数据集在创作公共许可证（CC BY-SA）下免费提供，链接为 https URL。
kazqadopen-domain question answeringdatasetodqa settingsretrieval
发现论文，激发创造
  • ODSQA: 开放领域口语问答数据集

    本文介绍一个包含超过三千个问题的开放领域口语问答数据集，研究发现自动语音识别误差对于口语问答有灾难性影响，本文提出将子词单元用于缓解该问题，同时通过对基于文本问答的训练样本进行数据扩增，提高了口语问答的表现。

    Aug, 2018

  • CCQA：用于模型预训练的新型 Web 规模问答数据集

    本文提出一种在 Common Crawl 项目的基础上，使用大规模、自然、多样化问答数据集进行领域内预训练的方法，该方法可以用于 open-domain question-answering 任务中的零样本、低资源和微调设置，展示了预训练在该任务中的潜力。

    Oct, 2021

  • QALD-9-plus: 面向 DBpedia 和 Wikidata 的多语言问题回答数据集（由本地说话人翻译）

    通过将高质量问题的翻译引入到最受欢迎的 KGQA 基准测试之一 QALD-9 中，从 DBpedia 到 Wikidata 的迁移和添加 8 种语言的支持来扩展 QALD-9 基准测试，从而增强了数据集的可用性和相关性，该数据集称为 QALD-9-Plus，将提供在线支持。

    Jan, 2022

  • JaQuAD: 用于机器阅读理解的日语问答数据集

    本文提出了 JaQuAD 数据集，它是一种由人类注释的日语问答数据集，用于非英语语言的 QA 任务的研究。该数据集由 39,696 个问题 - 答案对组成并且基于日本维基百科文章。我们针对基线模型进行微调，测试数据集上的 F1 得分为 78.92％，EM 为 63.38％。

    Feb, 2022

  • 高效开放域问答测量调查

    本研究介绍了开放域问题回答（ODQA）的效率，并提供了最新的研究成果和挑战，以期为 ODQA 效率的进一步发展做出贡献。

    Nov, 2022

  • MKQA：面向多语言开放域问题回答的语言多样性基准测试

    研究跨语言建模的进展取决于具有挑战性、真实性和多样性的评估集。本文提出了一种开放领域的问题回答评估集 “Multilingual Knowledge Questions and Answers”（MKQA），包括 10k 个问题 - 答案对，跨越 26 种语言（总计 260k 个问题 - 答案对）。结果表明，即使在英语中，这个数据集也具有挑战性，尤其是在低资源语言中。

    Jul, 2020

  • 神经网络阿拉伯语问答

    本文介绍了一个使用维基百科作为知识来源来解决阿拉伯语开放领域事实问题回答的方法，提出了阿拉伯阅读理解数据集（ARCD），并使用预训练的双向转换器 BERT 构建了 SOQAL 系统来回答问题，实验结果表明其有效性。

    Jun, 2019

  • GermanQuAD 和 GermanDPR: 提高非英语问答和文章检索的能力

    本文介绍了一个非英语机器阅读问答研究的主要挑战：缺乏注释数据集。我们随后提出一个德语 QA 数据集（GermanQuAD），总结经验教训，并评估 QA 问答对重组的效果，以加速注释过程。通过 GermanQuAD 数据训练，提出的 QA 模型明显优于多语言模型。最后，将数据集适应于 DPR 语言，训练了第一款非英语 DPR 模型。

    Apr, 2021

  • 基于知识的开放域问答

    本研究提出了一种知识辅助的开放域问答方法，通过考虑问题与文档之间的关系以及文档与文档之间的关系来构建问题 - 文档图和文档 - 文档图，使用知识三元组并结合文档检索和答案重新排名来提高文档检索和答案排序的性能，从而提高了开放域问答的整体性能。

    Jun, 2020

  • ArabicaQA: 阿拉伯问答系统的综合数据集

    本文介绍了 ArabicaQA，这是第一个用于阿拉伯语机器阅读理解和开放域问题回答的大规模数据集，包含了 89095 个可回答和 3701 个无法回答的问题，以及其他标记的开放域问题。同时还介绍了 AraDPR，这是第一个针对阿拉伯文本检索的密集段落检索模型，经过阿拉伯维基百科语料库的训练，专门用于解决阿拉伯文本检索中的独特挑战。此外，我们还对大型语言模型在阿拉伯语问题回答中进行了广泛的基准测试，并对其在阿拉伯语环境中的性能进行了批判性评估。总之，ArabicaQA、AraDPR 和在阿拉伯语问题回答中的语言模型基准测试为阿拉伯语自然语言处理领域带来了重要的进展。数据集和代码对于进一步研究都是公开可访问的。

    Mar, 2024