PQuAD:一个波斯语问答数据集
本文介绍了一种名为 FQuAD 的法语本地阅读理解数据集,并成功训练出基线模型,通过 F1 得分和准确匹配比率很好地回答了问题。同时,研究人员为追踪法语问答模型的进展提出了排行榜。
Feb, 2020
通过引入 PCoQA 数据集,本研究旨在为会话式问答研究提供第一个波斯语会话式问答数据集,包含多达 9,026 个背景驱动的问题,涉及提问者、回答者和维基百科文档。该数据集对以往问答数据集提供了新的挑战,包括更多开放性非事实性答案、较长答案和更少的词汇重复。本文还介绍了多种基准模型的性能,包括基线模型和预训练模型,并使用预训练模型提升了性能。有关数据集和基准模型可在我们的 Github 页面上获取。
Dec, 2023
本研究介绍了 Stanford Question Answering Dataset (SQuAD),一种包含超过 100,000 个问题的阅读理解数据集,旨在研究回答这些问题所需要的类型推理方式,研究使用依赖和组成树建立了强大的逻辑回归模型,并在数据集上获得了 51.0% 的 F1 分数。
Jun, 2016
通过使用强大的数据策划方法,我们翻译了英语问答数据集(SQuAD),解决了低资源语言中无高效问答数据集的问题。我们引入了 MahaSQuAD,这是第一个适用于印度马拉地语的完整 SQuAD 数据集,包含 118,516 个训练样本、11,873 个验证样本和 11,803 个测试样本。另外,我们还提供了一个手动验证的黄金测试集,包含 500 个例子。通过解决上下文和语言细微差异的挑战,我们确保了准确的翻译。此外,由于无法简单地将问答数据集直接转换为任何低资源语言,我们需要一种强大的方法将答案翻译映射到译文段落中的相应部分。因此,为了解决这一挑战,我们还提出了一种通用方法,可以将 SQuAD 翻译成任何低资源语言。因此,在问题回答系统领域,我们提供了一种可扩展的方法,弥合了低资源语言中存在的语言和文化差距。数据集和模型已公开共享于此 https URL。
Apr, 2024
本文提出了 JaQuAD 数据集,它是一种由人类注释的日语问答数据集,用于非英语语言的 QA 任务的研究。该数据集由 39,696 个问题 - 答案对组成并且基于日本维基百科文章。我们针对基线模型进行微调,测试数据集上的 F1 得分为 78.92%,EM 为 63.38%。
Feb, 2022
本文介绍了 NorQuAD 数据集,这是第一个用于机器阅读理解的挪威问答数据集,包含 4,752 个手动创建的问题和答案对。我们详细介绍了数据收集过程,并陈述了数据集的统计信息。我们还对数据集进行了多语言和挪威单语言语言模型的基准测试,并将它们与人类表现进行了比较。该数据集将免费提供。
May, 2023
FQuAD2.0 is a new dataset that extends FQuAD with unanswerable questions, enabling the training of French Question-Answering models that can distinguish unanswerable questions from answerable ones, achieving an F1 score of 82.3% on classification and 83% on Reading Comprehension tasks with a fine-tuned CamemBERT-large model.
Sep, 2021
介绍了 UQA,一个用于乌尔都语(Urdu)问答和文本理解的新数据集,通过一种称为 EATS 的技术,将斯坦福问答数据集(SQuAD2.0)的答案段落的翻译上下文中的答案范围进行保留,在两个候选项(Google Translator 和 Seamless M4T)中选择和评估最佳翻译模型,并对 UQA 上的几个最先进的多语言问答模型进行基准测试,其中包括 mBERT,XLM-RoBERTa 和 mT5,报告了有希望的结果。通过展示 EATS 对于创建其他语言和领域的高质量数据集的效果,证明了 UQA 对于开发和测试乌尔都语的多语言 NLP 系统以及增强现有模型的跨语言可迁移性是有价值的。UQA 数据集和代码可在 www.github.com/sameearif/UQA 上公开获取。
May, 2024
本文介绍了一个使用维基百科作为知识来源来解决阿拉伯语开放领域事实问题回答的方法,提出了阿拉伯阅读理解数据集(ARCD),并使用预训练的双向转换器 BERT 构建了 SOQAL 系统来回答问题,实验结果表明其有效性。
Jun, 2019
本文提出 Translate Align Retrieve (TAR) 方法,通过将 Stanford Question Answering Dataset(SQuAD)v1.1 自动翻译成西班牙语,创建了大规模的西班牙语 QA training dataset。使用此数据集通过微调 Multilingual-BERT 模型训练了西班牙语 QA 系统,并在 MLQA 和 XQuAD 基准测试上进行了评估,结果表明该方法优于 Multilingual-BERT 基线,达到了新的最高 69.1 F1 分数。
Dec, 2019