该研究提出了一个名为 MLQA 的多语言提取式问答（QA）评估基准，旨在推动跨语言 QA 研究。 MLQA 包含 7 种语言的 QA 实例，并使用一种新颖的对齐上下文策略，基于 Wikipedia 文章构建，以此作为现有提取式 QA 数据集的跨语言扩展。

Oct, 2019

本研究探讨如何通过自动翻译和排列组合技术将已有的数据资源应用到多语种的问答系统中，并进行深入分析和提出未来数据集开发的建议，以提高多语种问答系统的覆盖面。

May, 2021

本文旨在开发一个新的数据集，用于研发和评估临床试验问题回答系统，该系统可以处理自然的多答案和多焦点问题。通过使用 2018 年国家 NLP 临床挑战（n2c2）语料库进行注释关系，包含 1 到 N、M 到 1 和 M 到 N 药品 - 事件关系，形成多答案和多焦点的 QA 项目，可以更好地挖掘围绕答案的线索，培训和评估需要处理多重答案和多重焦点问题的系统。

Jan, 2022

我们提供了 Belebele，这是一个涵盖了 122 种语言的多选机器阅读理解（MRC）数据集。该数据集显著扩展了自然语言理解（NLU）基准的语言覆盖范围，在高、中、低资源语言中评估了文本模型，从而使得对模型性能的直接比较成为可能。通过这个数据集，我们评估了多语言掩码语言模型（MLMs）和大型语言模型（LLMs）的能力，并得出了一些结论。

Aug, 2023

通过机器翻译的方式，我们将著名的 QA 数据集 FairytaleQA 转化为其他语言，为了评估和提升儿童对于叙事理解的能力，我们利用经过微调的中等规模模型建立了这些翻译数据集的问答生成和问答任务基准，并通过质量度量标准如问题形式正确性、可回答性、相关性和适合儿童的度量对模型进行评估，同时优先考虑量化和描述错误案例，并提供未来工作的方向。本研究推动了少资源语言中 QA 和问答生成研究的进展，促进了阅读理解模型的开发中的可访问性和包容性。

Jun, 2024

本文调查了在深度学习时代发布的有影响力的问答数据集，并介绍了文本问答和视觉问答两个最常见的问答任务，涵盖了最具代表性的数据集，并提出了当前的一些 QA 研究挑战。

Jun, 2022

通过将高质量问题的翻译引入到最受欢迎的 KGQA 基准测试之一 QALD-9 中，从 DBpedia 到 Wikidata 的迁移和添加 8 种语言的支持来扩展 QALD-9 基准测试，从而增强了数据集的可用性和相关性，该数据集称为 QALD-9-Plus，将提供在线支持。

Jan, 2022

通过语言模型的构建过程，使用 LM 生成问题 / 答案、改进答案和验证 QA，然后减少人工验证的工作量，我们提出了 Multilingual CommonsenseQA（mCSQA），这是一个用于评估多语言 LM 的跨语言语言传递能力的基准数据集。实验结果表明，多语言 LM 在处理容易解决的问题时具有较高的语言传递能力，但处理需要深入知识或常识的问题时传递能力较低。这凸显了对语言特定数据集进行评估和训练的必要性，最后，我们的方法证明了多语言 LM 能够创建包含语言特定知识的 QA，与手动创建相比，显著降低了数据集创建成本。

Jun, 2024

研究跨语言建模的进展取决于具有挑战性、真实性和多样性的评估集。本文提出了一种开放领域的问题回答评估集 “Multilingual Knowledge Questions and Answers”（MKQA），包括 10k 个问题 - 答案对，跨越 26 种语言（总计 260k 个问题 - 答案对）。结果表明，即使在英语中，这个数据集也具有挑战性，尤其是在低资源语言中。

Jul, 2020

本研究提出了一种方法来改善跨语言问答的表现，利用问答生成模型以跨语言的方式生成合成数据，无需额外标注数据，并展示了在四个多语言数据集上的表现显著优于仅使用英文数据的基线模型，创造了新的最优性能水平。

Oct, 2020