Apr, 2020

多语言池中的语言无关答案检索

PDF
TL;DR介绍了 LAReQA - 一项新的挑战性基准测试，可从多语言候选池中进行语言无关的答案检索。在基于多语言 BERT 的基础上，研究了实现强交叉语言对齐的不同策略，发现通过机器翻译增加训练数据是有效的，同时，该基线在 LAReQA 上表现最好，但在仅瞄准 “弱” 对齐的任务中却不及竞争基线，这突显了语言无关检索是一种实质性新型跨语言评估。
lareqamultilinguallanguage-agnosticcross-lingual alignmentbert
发现论文，激发创造
  • MLQA：评估跨语言抽取式问答

    该研究提出了一个名为 MLQA 的多语言提取式问答（QA）评估基准，旨在推动跨语言 QA 研究。 MLQA 包含 7 种语言的 QA 实例，并使用一种新颖的对齐上下文策略，基于 Wikipedia 文章构建，以此作为现有提取式 QA 数据集的跨语言扩展。

    Oct, 2019

  • MultiReQA：跨领域检索问答模型评估

    本文介绍了一个新的多领域检索问题回答（ReQA）评估套件 MultiReQA，使用两个监督性神经模型（基于精调的 BERT 和 USE-QA 模型）及一个信息检索基线 BM25 在基于句子的 QA 数据集上进行系统评估，结果表明，虽然存在覆盖所有领域的通用模型，但通常通过对特定领域训练来获得最佳性能。

    May, 2020

  • XOR QA：跨语言开放检索问答

    通过使用跨语言开放检索问题回答，扩展多语言问答任务，解决信息匮乏和信息不对称问题。在 TyDi QA 上构建了一个大规模数据集，并建立了三个跨语言文档检索任务的基线。利用机器翻译系统和跨语言预训练模型，在实验中得出 XOR QA 是一个具有挑战性的任务，将促进多语言问答技术的开发。

    Oct, 2020

  • ZusammenQA：专用模型数据增强的跨语言开放检索问答系统

    该论文提出了一种用于 COQA 多语言问题解答的系统，该系统使用多种模型变体在数据增强、语段检索和答案生成三个主要组件上进行了研究，并结合语言模型预训练和数据增强等方法有效提高了针对低资源语言的表现。

    May, 2022

  • 使用翻译增强的多语言问答转移学习

    本文探索了提高多语言问题回答的交叉语言转移性能的策略，包括使用机器翻译生成的数据来增强原始英语训练数据，以及提出两种新颖的策略：语言对抗性训练和语言仲裁框架，这些策略显著提高了零资源的交叉语言转移性能，并导致 LM 嵌入不那么语言特定的结果。经验证明，这些模型在最近推出的 multilingual MLQA 和 TyDiQA 数据集上优于以前的零 - shot 基线。

    Dec, 2020

  • MIA 2022 共享任务：评估 16 种不同语言的跨语言开放检索问答

    本文介绍了 MIA 2022 workshop 关于跨语言信息检索中的开放式提取问题回答（QA）系统评估的结果，并评估了 16 种语言中的系统性能表现。通过对 14 种语言的大规模跨语言开放式提取 QA 数据集进行改编以及对 Tagalog 和 Tamil 两种语言进行新的标记，共有 4 支队伍提交了他们的系统，最佳系统借助多样化的负样本和更大的预训练模型实现了 32.2 的 F1 值，而第二名则在 Tamil 语言的检索中取得了显著的进展。

    Jul, 2022

  • ReQA: 面向端到端答案检索模型的评价

    本篇论文介绍了一个用于评估大规模句子级别答案检索模型的基准 Retrieval Question-Answering（ReQA），并使用神经编码模型和传统信息检索技术建立了基线。我们提供我们的评估代码以鼓励更多关于这一具有挑战性的任务的研究。

    Jul, 2019

  • 跨语言产品问答：12 种语言

    该研究致力于针对电子商务应用中需要支持多语言的情况，建立一种跨语言的产品问答 (PQA) 系统，为了实现这一目标，它提出了一个包括 12 种语言在九个领域中的大规模标注跨语言 PQA 数据集，并评估了包括机器翻译在内的多种方法。作者强调，领域内的数据对跨语言排序任务非常重要，而候选的排序通常更喜欢基于运行时翻译的方法，而答案的生成更倾向于使用多语言方法，但是英语和跨语言测试集之间仍存在明显的性能差距。

    May, 2023

  • 跨语言密集文段检索的多语言问答模型

    本研究提出 Cross-lingual Open-Retrieval Answer Generation (CORA) 模型，它是第一个可以回答跨多种语言问题的问答模型，利用密集型检索算法，与多语言自回归生成模型相结合，即可实现直接在目标语言下回答问题，获得了显著的效果提升，特别是在低资源环境下。

    Jul, 2021

  • RepLiQA：用于评估 LLMs 在未见参考内容上的问答数据集

    通过介绍一个名为 RepLiQA 的新测试数据集，本研究试图解决使用互联网数据进行大型语言模型评估时可能出现的问题，并通过对各种型号和规模的模型进行基准测试，揭示它们在不同情境条件下的性能差异。

    Jun, 2024