PIAF 项目:构建一个本地的法语问答数据集
本文介绍了一种名为 FQuAD 的法语本地阅读理解数据集,并成功训练出基线模型,通过 F1 得分和准确匹配比率很好地回答了问题。同时,研究人员为追踪法语问答模型的进展提出了排行榜。
Feb, 2020
FQuAD2.0 is a new dataset that extends FQuAD with unanswerable questions, enabling the training of French Question-Answering models that can distinguish unanswerable questions from answerable ones, achieving an F1 score of 82.3% on classification and 83% on Reading Comprehension tasks with a fine-tuned CamemBERT-large model.
Sep, 2021
本文探讨了自动收集弱标签数据集的方法,并展示了它们对神经检索模型的性能的影响。通过本文,我们发布了 MAUPQA 数据集,其中包含接近 400,000 个波兰语问题 - 段落对,以及 HerBERT-QA 神经检索器。
May, 2023
本研究提出了一种方法来改善跨语言问答的表现,利用问答生成模型以跨语言的方式生成合成数据,无需额外标注数据,并展示了在四个多语言数据集上的表现显著优于仅使用英文数据的基线模型,创造了新的最优性能水平。
Oct, 2020
介绍了一个从 Alloprof 网站收集的法语问题回答数据集,其中包含 29,349 个问题及其解释,以及一个信息检索任务的案例研究,用预训练的 BERT 模型 fine-tuned 和评估,这个数据集将为研究人员开发特定于法语教育背景的算法提供帮助。
Feb, 2023
本文提出了 JaQuAD 数据集,它是一种由人类注释的日语问答数据集,用于非英语语言的 QA 任务的研究。该数据集由 39,696 个问题 - 答案对组成并且基于日本维基百科文章。我们针对基线模型进行微调,测试数据集上的 F1 得分为 78.92%,EM 为 63.38%。
Feb, 2022
本研究探讨如何通过自动翻译和排列组合技术将已有的数据资源应用到多语种的问答系统中,并进行深入分析和提出未来数据集开发的建议,以提高多语种问答系统的覆盖面。
May, 2021
该研究致力于针对电子商务应用中需要支持多语言的情况,建立一种跨语言的产品问答 (PQA) 系统,为了实现这一目标,它提出了一个包括 12 种语言在九个领域中的大规模标注跨语言 PQA 数据集,并评估了包括机器翻译在内的多种方法。作者强调,领域内的数据对跨语言排序任务非常重要,而候选的排序通常更喜欢基于运行时翻译的方法,而答案的生成更倾向于使用多语言方法,但是英语和跨语言测试集之间仍存在明显的性能差距。
May, 2023
本文调查了在深度学习时代发布的有影响力的问答数据集,并介绍了文本问答和视觉问答两个最常见的问答任务,涵盖了最具代表性的数据集,并提出了当前的一些 QA 研究挑战。
Jun, 2022
本研究针对英语语言数据集的局限性,通过与全球流利的语言使用者合作,建立了覆盖 65 种语言的人工策划指令跟随数据集,并通过模板和翻译现有数据集创建了迄今最广泛的多语言数据集,共包含 5.13 亿个实例。此外,我们还提供 Aya 注释平台、Aya 数据集、Aya 集合和 Aya 评估套件等四个关键资源,而且 Aya 倡议还是一项有价值的参与性研究案例,涉及来自 119 个国家的合作者,我们认为此为未来旨在弥补资源差距的研究合作提供了宝贵的框架。
Feb, 2024