Apr, 2024

Suvach -- 生成的印地语 QA 基准

PDF
TL;DR为了在印度语中评估问答（QA）的当前评估基准，常常依赖于现有英语数据集的机器翻译。这种方法存在机器翻译中固有的偏见和不准确性，导致可能不能反映印度语 EQA 模型真实能力的数据集。本文提出了一个专门设计用于评估印度语 EQA 模型的新基准，并讨论了同样用于任何任务的方法。该方法利用大型语言模型（LLMs）在提取的环境中生成高质量的数据集，确保其对目标语言的相关性。我们相信这个新资源将通过提供更准确可靠的评估工具来促进印度语 NLP 研究的进展。
question answeringindic languagesevaluation benchmarkshindi eqa modelslanguage models
发现论文，激发创造
  • MLQA：评估跨语言抽取式问答

    该研究提出了一个名为 MLQA 的多语言提取式问答（QA）评估基准，旨在推动跨语言 QA 研究。 MLQA 包含 7 种语言的 QA 实例，并使用一种新颖的对齐上下文策略，基于 Wikipedia 文章构建，以此作为现有提取式 QA 数据集的跨语言扩展。

    Oct, 2019

  • 突破语言障碍：一个用于印地语和马拉地语的问答数据集

    该研究关注于为印地语和马拉地语开发一个问题回答数据集，通过将 SQuAD 2.0 数据集翻译成这两种语言，以解决数据稀缺的挑战，并发布了最大规模的问题回答数据集，同时提供了在这两种语言中表现最佳的模型，从而促进了进一步的研究。

    Aug, 2023

  • MahaSQuAD：马拉地语问答中的语言桥梁

    通过使用强大的数据策划方法，我们翻译了英语问答数据集（SQuAD），解决了低资源语言中无高效问答数据集的问题。我们引入了 MahaSQuAD，这是第一个适用于印度马拉地语的完整 SQuAD 数据集，包含 118,516 个训练样本、11,873 个验证样本和 11,803 个测试样本。另外，我们还提供了一个手动验证的黄金测试集，包含 500 个例子。通过解决上下文和语言细微差异的挑战，我们确保了准确的翻译。此外，由于无法简单地将问答数据集直接转换为任何低资源语言，我们需要一种强大的方法将答案翻译映射到译文段落中的相应部分。因此，为了解决这一挑战，我们还提出了一种通用方法，可以将 SQuAD 翻译成任何低资源语言。因此，在问题回答系统领域，我们提供了一种可扩展的方法，弥合了低资源语言中存在的语言和文化差距。数据集和模型已公开共享于此 https URL。

    Apr, 2024

  • IndicMT Eval：用于评估印度语机器翻译度量的数据集

    本文旨在创建一个 MQM 数据集，以系统地评估 7 个机器翻译系统中 5 种印度语言的翻译质量，并探讨自动化评估指标和人工评分之间的相关性。结果表明预先训练的指标 COMET 与人工评分相关性最高，但这些指标并未恰当地捕捉印度语言中的流畅性错误，因此需要开发注重印度语言的度量指标。

    Dec, 2022

  • BEnQA：孟加拉语和英语的问题回答与推理基准

    本研究介绍了 BEnQA 数据集，该数据集包括孟加拉国中学和高中水平的平行孟加拉语和英语考试题目。我们的数据集包含大约 5,000 个问题，涵盖了科学的多个学科，并包含事实、应用和推理类问题。我们使用平行数据集对多个大型语言模型进行了基准测试，并观察到了在孟加拉语和英语中模型之间明显的性能差异。我们还研究了一些提示方法，并发现在推理问题上更有利的是 “思考链” 提示，而在事实问题上则不太有利。我们还发现，附加英语翻译有助于用孟加拉语回答问题。我们的研究结果指向了改善孟加拉语和其他资源有限语言中大型语言模型性能的有希望的未来研究方向。

    Mar, 2024

  • 在印地语和泰米尔语中针对问题的抽取式问答

    本篇研究旨在建立自然语言处理模型，通过针对印度语的公共数据集进行微调以及训练，使得机器的提取问答任务的表现比已有模型更为优秀。基于 RoBERTa 模型构建的两种模型表现最好，证实了对于特定语言任务而言，训练数据的特异性对模型的表现影响更大。

    Sep, 2022

  • UQA: 乌尔都问答语料库

    介绍了 UQA，一个用于乌尔都语（Urdu）问答和文本理解的新数据集，通过一种称为 EATS 的技术，将斯坦福问答数据集（SQuAD2.0）的答案段落的翻译上下文中的答案范围进行保留，在两个候选项（Google Translator 和 Seamless M4T）中选择和评估最佳翻译模型，并对 UQA 上的几个最先进的多语言问答模型进行基准测试，其中包括 mBERT，XLM-RoBERTa 和 mT5，报告了有希望的结果。通过展示 EATS 对于创建其他语言和领域的高质量数据集的效果，证明了 UQA 对于开发和测试乌尔都语的多语言 NLP 系统以及增强现有模型的跨语言可迁移性是有价值的。UQA 数据集和代码可在 www.github.com/sameearif/UQA 上公开获取。

    May, 2024

  • 2023 年 SurreyAI 质量评估共享任务提交

    本研究描述了 SurreyAI 团队在 WMT23 的句子级直接评估共享任务中采用的方法，该方法在 TransQuest 框架的基础上利用自编码器预训练语言模型构建 MonoTransQuest 架构，并使用单一和集合设置。通过使用斯皮尔曼和皮尔逊相关系数评估机器预测质量分数与人工判断之间的关系，对 5 个语言对（英古吉拉特语、英印地语、英马拉地语、英泰米尔语和英泰卢固语）进行了评估，其中 MonoTQ-InfoXLM-large 方法在大多数语言对中显著改进了基线，并成为一种强大的策略。

    Dec, 2023

  • H-AES：针对印地语的自动化作文评分

    研究了使用自然语言处理 (NLP) 进行自动文章评分 (AES) 在英语中被广泛探索，而在印地语等低资源语言中尚未被探索的现状，并在印地语领域复现和比较了 AES 的最新方法。

    Feb, 2023

  • IndicSUPERB：印度语言语音处理通用性能基准

    该篇论文主要介绍了自然语言理解和语音语言理解中使用的 GLUE 数据集和 SUPERB 基准集，同时提供了 IndicSUPERB 基准集，为印度语音语言理解模型的开发做出贡献。该论文探讨了使用自我监督模型在各种印度语言中进行的训练和评估，证明了 Self-supervised 模型在语言识别任务中的优势。

    Aug, 2022