Mar, 2024

BEnQA：孟加拉语和英语的问题回答与推理基准

PDF
TL;DR本研究介绍了 BEnQA 数据集，该数据集包括孟加拉国中学和高中水平的平行孟加拉语和英语考试题目。我们的数据集包含大约 5,000 个问题，涵盖了科学的多个学科，并包含事实、应用和推理类问题。我们使用平行数据集对多个大型语言模型进行了基准测试，并观察到了在孟加拉语和英语中模型之间明显的性能差异。我们还研究了一些提示方法，并发现在推理问题上更有利的是 “思考链” 提示，而在事实问题上则不太有利。我们还发现，附加英语翻译有助于用孟加拉语回答问题。我们的研究结果指向了改善孟加拉语和其他资源有限语言中大型语言模型性能的有希望的未来研究方向。
benqaparallel datasetlarge language models (llms)chain-of-thought promptinglow-resource languages
发现论文，激发创造
  • MLQA：评估跨语言抽取式问答

    该研究提出了一个名为 MLQA 的多语言提取式问答（QA）评估基准，旨在推动跨语言 QA 研究。 MLQA 包含 7 种语言的 QA 实例，并使用一种新颖的对齐上下文策略，基于 Wikipedia 文章构建，以此作为现有提取式 QA 数据集的跨语言扩展。

    Oct, 2019

  • Suvach -- 生成的印地语 QA 基准

    为了在印度语中评估问答（QA）的当前评估基准，常常依赖于现有英语数据集的机器翻译。这种方法存在机器翻译中固有的偏见和不准确性，导致可能不能反映印度语 EQA 模型真实能力的数据集。本文提出了一个专门设计用于评估印度语 EQA 模型的新基准，并讨论了同样用于任何任务的方法。该方法利用大型语言模型（LLMs）在提取的环境中生成高质量的数据集，确保其对目标语言的相关性。我们相信这个新资源将通过提供更准确可靠的评估工具来促进印度语 NLP 研究的进展。

    Apr, 2024

  • MKQA：面向多语言开放域问题回答的语言多样性基准测试

    研究跨语言建模的进展取决于具有挑战性、真实性和多样性的评估集。本文提出了一种开放领域的问题回答评估集 “Multilingual Knowledge Questions and Answers”（MKQA），包括 10k 个问题 - 答案对，跨越 26 种语言（总计 260k 个问题 - 答案对）。结果表明，即使在英语中，这个数据集也具有挑战性，尤其是在低资源语言中。

    Jul, 2020

  • 走向更加公平的问答系统：需要多少更多的数据？

    本研究探讨如何通过自动翻译和排列组合技术将已有的数据资源应用到多语种的问答系统中，并进行深入分析和提出未来数据集开发的建议，以提高多语种问答系统的覆盖面。

    May, 2021

  • UQA: 乌尔都问答语料库

    介绍了 UQA，一个用于乌尔都语（Urdu）问答和文本理解的新数据集，通过一种称为 EATS 的技术，将斯坦福问答数据集（SQuAD2.0）的答案段落的翻译上下文中的答案范围进行保留，在两个候选项（Google Translator 和 Seamless M4T）中选择和评估最佳翻译模型，并对 UQA 上的几个最先进的多语言问答模型进行基准测试，其中包括 mBERT，XLM-RoBERTa 和 mT5，报告了有希望的结果。通过展示 EATS 对于创建其他语言和领域的高质量数据集的效果，证明了 UQA 对于开发和测试乌尔都语的多语言 NLP 系统以及增强现有模型的跨语言可迁移性是有价值的。UQA 数据集和代码可在 www.github.com/sameearif/UQA 上公开获取。

    May, 2024

  • 面向现实世界的口语方言问答

    本文介绍了一个针对多个语言方言创建的语音问答数据集，分析了语音识别错误和方言对问答系统性能的影响，并且研究了不同用户群体的公平性问题。

    Sep, 2021

  • QALD-9-plus: 面向 DBpedia 和 Wikidata 的多语言问题回答数据集（由本地说话人翻译）

    通过将高质量问题的翻译引入到最受欢迎的 KGQA 基准测试之一 QALD-9 中，从 DBpedia 到 Wikidata 的迁移和添加 8 种语言的支持来扩展 QALD-9 基准测试，从而增强了数据集的可用性和相关性，该数据集称为 QALD-9-Plus，将提供在线支持。

    Jan, 2022

  • 突破语言障碍：一个用于印地语和马拉地语的问答数据集

    该研究关注于为印地语和马拉地语开发一个问题回答数据集，通过将 SQuAD 2.0 数据集翻译成这两种语言，以解决数据稀缺的挑战，并发布了最大规模的问题回答数据集，同时提供了在这两种语言中表现最佳的模型，从而促进了进一步的研究。

    Aug, 2023

  • ELQA: 英文语言问题及答案语料库

    本文介绍一个包含 18 万多个有关英语语言的问题和答案的共同数据集，这个数据集可以用于语言学习者的自然语言处理应用，并介绍了以这个数据集为基础的三个任务：1）回答质量分类、2）语义搜索查找相似问题和 3）回答生成，并展示了当前基于 Transformer 模型的优缺点和基线方法。该数据集和脚本已经公开发布用于未来的研究。

    May, 2022

  • 评估孟加拉语词汇类比

    该论文提供了用于评估孟加拉语词嵌入质量的高质量数据集，该数据集对于基准测试和指导未来研究至关重要。

    Apr, 2023