Apr, 2024
MahaSQuAD：马拉地语问答中的语言桥梁
MahaSQuAD: Bridging Linguistic Divides in Marathi Question-Answering
TL;DR通过使用强大的数据策划方法，我们翻译了英语问答数据集（SQuAD），解决了低资源语言中无高效问答数据集的问题。我们引入了MahaSQuAD，这是第一个适用于印度马拉地语的完整SQuAD数据集，包含118,516个训练样本、11,873个验证样本和11,803个测试样本。另外，我们还提供了一个手动验证的黄金测试集，包含500个例子。通过解决上下文和语言细微差异的挑战，我们确保了准确的翻译。此外，由于无法简单地将问答数据集直接转换为任何低资源语言，我们需要一种强大的方法将答案翻译映射到译文段落中的相应部分。因此，为了解决这一挑战，我们还提出了一种通用方法，可以将SQuAD翻译成任何低资源语言。因此，在问题回答系统领域，我们提供了一种可扩展的方法，弥合了低资源语言中存在的语言和文化差距。数据集和模型已公开共享于此https URL。