Dec, 2019

面向多语言问答的 SQuAD 数据集自动西班牙语翻译

PDF
TL;DR本文提出 Translate Align Retrieve (TAR) 方法，通过将 Stanford Question Answering Dataset（SQuAD）v1.1 自动翻译成西班牙语，创建了大规模的西班牙语 QA ​​training dataset。使用此数据集通过微调 Multilingual-BERT 模型训练了西班牙语 QA 系统，并在 MLQA 和 XQuAD 基准测试上进行了评估，结果表明该方法优于 Multilingual-BERT 基线，达到了新的最高 69.1 F1 分数。
multilingual question answeringtranslate align retrieve methodsquadspanish qa systemscross-lingual extractive qa
发现论文，激发创造
  • EuSQuAD：面向巴斯克语的 SQuAD2.0 自动翻译和对齐系统

    EuSQuAD 是第一个将 SQuAD2.0 自动翻译和对齐成巴斯克语的倡议，产生了超过 142k 个问答示例，通过广泛的定性分析和 QA 实验以及新的人工标注数据集的评估，证明了 EuSQuAD 的价值。

    Apr, 2024

  • 针对塞尔维亚语问答的 Transformer 模型的合成数据集创建和微调

    使用改进的翻译 - 对齐 - 检索方法生成了最大的塞尔维亚问答数据集 SQuAD-sr，并使用该数据集对几个预训练的问答模型进行了微调，最佳结果表明我们的模型超过了零 - shot 基线但未超越人类表现。

    Apr, 2024

  • MahaSQuAD：马拉地语问答中的语言桥梁

    通过使用强大的数据策划方法，我们翻译了英语问答数据集（SQuAD），解决了低资源语言中无高效问答数据集的问题。我们引入了 MahaSQuAD，这是第一个适用于印度马拉地语的完整 SQuAD 数据集，包含 118,516 个训练样本、11,873 个验证样本和 11,803 个测试样本。另外，我们还提供了一个手动验证的黄金测试集，包含 500 个例子。通过解决上下文和语言细微差异的挑战，我们确保了准确的翻译。此外，由于无法简单地将问答数据集直接转换为任何低资源语言，我们需要一种强大的方法将答案翻译映射到译文段落中的相应部分。因此，为了解决这一挑战，我们还提出了一种通用方法，可以将 SQuAD 翻译成任何低资源语言。因此，在问题回答系统领域，我们提供了一种可扩展的方法，弥合了低资源语言中存在的语言和文化差距。数据集和模型已公开共享于此 https URL。

    Apr, 2024

  • UQA: 乌尔都问答语料库

    介绍了 UQA，一个用于乌尔都语（Urdu）问答和文本理解的新数据集，通过一种称为 EATS 的技术，将斯坦福问答数据集（SQuAD2.0）的答案段落的翻译上下文中的答案范围进行保留，在两个候选项（Google Translator 和 Seamless M4T）中选择和评估最佳翻译模型，并对 UQA 上的几个最先进的多语言问答模型进行基准测试，其中包括 mBERT，XLM-RoBERTa 和 mT5，报告了有希望的结果。通过展示 EATS 对于创建其他语言和领域的高质量数据集的效果，证明了 UQA 对于开发和测试乌尔都语的多语言 NLP 系统以及增强现有模型的跨语言可迁移性是有价值的。UQA 数据集和代码可在 www.github.com/sameearif/UQA 上公开获取。

    May, 2024

  • MLQA：评估跨语言抽取式问答

    该研究提出了一个名为 MLQA 的多语言提取式问答（QA）评估基准，旨在推动跨语言 QA 研究。 MLQA 包含 7 种语言的 QA 实例，并使用一种新颖的对齐上下文策略，基于 Wikipedia 文章构建，以此作为现有提取式 QA 数据集的跨语言扩展。

    Oct, 2019

  • QALD-9-plus: 面向 DBpedia 和 Wikidata 的多语言问题回答数据集（由本地说话人翻译）

    通过将高质量问题的翻译引入到最受欢迎的 KGQA 基准测试之一 QALD-9 中，从 DBpedia 到 Wikidata 的迁移和添加 8 种语言的支持来扩展 QALD-9 基准测试，从而增强了数据集的可用性和相关性，该数据集称为 QALD-9-Plus，将提供在线支持。

    Jan, 2022

  • 使用翻译增强的多语言问答转移学习

    本文探索了提高多语言问题回答的交叉语言转移性能的策略，包括使用机器翻译生成的数据来增强原始英语训练数据，以及提出两种新颖的策略：语言对抗性训练和语言仲裁框架，这些策略显著提高了零资源的交叉语言转移性能，并导致 LM 嵌入不那么语言特定的结果。经验证明，这些模型在最近推出的 multilingual MLQA 和 TyDiQA 数据集上优于以前的零 - shot 基线。

    Dec, 2020

  • HeySQuAD：一个口语化问答数据集

    本研究主要介绍了一个新的基于 HeySQuAD 数据集的 SQA 系统基准测试方法，该方法使用了包含 76k 个人类口述问题和 97k 个机器生成问题的问答数据集，证明了使用转录的口述问题进行训练可以显著提高系统的性能 (12.51%)，具有很高的实践价值。

    Apr, 2023

  • 走向更加公平的问答系统：需要多少更多的数据？

    本研究探讨如何通过自动翻译和排列组合技术将已有的数据资源应用到多语种的问答系统中，并进行深入分析和提出未来数据集开发的建议，以提高多语种问答系统的覆盖面。

    May, 2021

  • MuCoT: 低资源语言中的多语言对比训练问答

    本文提出一种用于低资源语言的提高问答技术的方法，即通过翻译和转写将问题回答样本扩充到目标语言，利用增广数据微调已经在英语中预训练的 mBERT 问答模型，并引入对翻译问题上下文特征对之间的对比损失来提高不同语言家族的翻译准确性。

    Apr, 2022