Apr, 2021

GermanQuAD 和 GermanDPR: 提高非英语问答和文章检索的能力

PDF
TL;DR本文介绍了一个非英语机器阅读问答研究的主要挑战：缺乏注释数据集。我们随后提出一个德语 QA 数据集（GermanQuAD），总结经验教训，并评估 QA 问答对重组的效果，以加速注释过程。通过 GermanQuAD 数据训练，提出的 QA 模型明显优于多语言模型。最后，将数据集适应于 DPR 语言，训练了第一款非英语 DPR 模型。
发现论文，激发创造
  • JaQuAD: 用于机器阅读理解的日语问答数据集

    本文提出了 JaQuAD 数据集，它是一种由人类注释的日语问答数据集，用于非英语语言的 QA 任务的研究。该数据集由 39,696 个问题 - 答案对组成并且基于日本维基百科文章。我们针对基线模型进行微调，测试数据集上的 F1 得分为 78.92％，EM 为 63.38％。

    Feb, 2022

  • MAUPQA：大规模自动生成的波兰问答数据集

    本文探讨了自动收集弱标签数据集的方法，并展示了它们对神经检索模型的性能的影响。通过本文，我们发布了 MAUPQA 数据集，其中包含接近 400,000 个波兰语问题 - 段落对，以及 HerBERT-QA 神经检索器。

    May, 2023

  • FQuAD: 法语问答数据集

    本文介绍了一种名为 FQuAD 的法语本地阅读理解数据集，并成功训练出基线模型，通过 F1 得分和准确匹配比率很好地回答了问题。同时，研究人员为追踪法语问答模型的进展提出了排行榜。

    Feb, 2020

  • 面向多语言问答的 SQuAD 数据集自动西班牙语翻译

    本文提出 Translate Align Retrieve (TAR) 方法，通过将 Stanford Question Answering Dataset（SQuAD）v1.1 自动翻译成西班牙语，创建了大规模的西班牙语 QA ​​training dataset。使用此数据集通过微调 Multilingual-BERT 模型训练了西班牙语 QA 系统，并在 MLQA 和 XQuAD 基准测试上进行了评估，结果表明该方法优于 Multilingual-BERT 基线，达到了新的最高 69.1 F1 分数。

    Dec, 2019

  • MLQA：评估跨语言抽取式问答

    该研究提出了一个名为 MLQA 的多语言提取式问答（QA）评估基准，旨在推动跨语言 QA 研究。 MLQA 包含 7 种语言的 QA 实例，并使用一种新颖的对齐上下文策略，基于 Wikipedia 文章构建，以此作为现有提取式 QA 数据集的跨语言扩展。

    Oct, 2019

  • 走向更加公平的问答系统：需要多少更多的数据？

    本研究探讨如何通过自动翻译和排列组合技术将已有的数据资源应用到多语种的问答系统中，并进行深入分析和提出未来数据集开发的建议，以提高多语种问答系统的覆盖面。

    May, 2021

  • QALD-9-plus: 面向 DBpedia 和 Wikidata 的多语言问题回答数据集（由本地说话人翻译）

    通过将高质量问题的翻译引入到最受欢迎的 KGQA 基准测试之一 QALD-9 中，从 DBpedia 到 Wikidata 的迁移和添加 8 种语言的支持来扩展 QALD-9 基准测试，从而增强了数据集的可用性和相关性，该数据集称为 QALD-9-Plus，将提供在线支持。

    Jan, 2022

  • NorQuAD: 挪威问答数据集

    本文介绍了 NorQuAD 数据集，这是第一个用于机器阅读理解的挪威问答数据集，包含 4,752 个手动创建的问题和答案对。我们详细介绍了数据收集过程，并陈述了数据集的统计信息。我们还对数据集进行了多语言和挪威单语言语言模型的基准测试，并将它们与人类表现进行了比较。该数据集将免费提供。

    May, 2023

  • FQuAD2.0：法语问答和知道你什么也不知道

    FQuAD2.0 is a new dataset that extends FQuAD with unanswerable questions, enabling the training of French Question-Answering models that can distinguish unanswerable questions from answerable ones, achieving an F1 score of 82.3% on classification and 83% on Reading Comprehension tasks with a fine-tuned CamemBERT-large model.

    Sep, 2021

  • 零样本跨语言问答的合成数据增强

    本研究提出了一种方法来改善跨语言问答的表现，利用问答生成模型以跨语言的方式生成合成数据，无需额外标注数据，并展示了在四个多语言数据集上的表现显著优于仅使用英文数据的基线模型，创造了新的最优性能水平。

    Oct, 2020