应对新兴领域开放检索式问答系统中的跨语言性问题

Jan, 2022

应对新兴领域开放检索式问答系统中的跨语言性问题

Addressing Issues of Cross-Linguality in Open-Retrieval Question Answering Systems For Emergent Domains

Alon Albalak, Sharon Levy, William Yang Wang

TL;DR本文提出了一种跨语言的开放检索问答系统，使用科学文章语料库保证检索到的文档的可靠性；通过利用自动翻译、对齐和过滤来产生英文 - 全语言数据集，缓解新兴语境下跨语言训练数据的稀缺性。结果表明，在使用我们的英文 - 全语言数据进行训练后，深度语义检索器在跨语言设置中明显优于 BM25 基线。

Abstract

open-retrieval question answering systems are generally trained and tested on large datasets in well-established domains. However, low-resource settings such as new and emerging domains would especially benefit f

open-retrieval question answering systems low-resource settings cross-lingual covid-19 deep semantic retriever

发现论文，激发创造

XOR QA：跨语言开放检索问答

通过使用跨语言开放检索问题回答，扩展多语言问答任务，解决信息匮乏和信息不对称问题。在 TyDi QA 上构建了一个大规模数据集，并建立了三个跨语言文档检索任务的基线。利用机器翻译系统和跨语言预训练模型，在实验中得出 XOR QA 是一个具有挑战性的任务，将促进多语言问答技术的开发。

Oct, 2020

COVID-19 和其他新兴领域的开放领域问答

为了解决 COVID-19 疫情期间虚假信息泛滥的问题，本文利用开放域问答技术，构建了一个能够从大规模 COVID-19 科学论文中检索答案的系统，并结合有效的重新排序和多次回答技巧。实验表明，尽管数据量较小，该系统仍然可用于训练，成为用于类似领域的快速开发的模型。

Oct, 2021

MIA 2022 共享任务：评估 16 种不同语言的跨语言开放检索问答

本文介绍了 MIA 2022 workshop 关于跨语言信息检索中的开放式提取问题回答（QA）系统评估的结果，并评估了 16 种语言中的系统性能表现。通过对 14 种语言的大规模跨语言开放式提取 QA 数据集进行改编以及对 Tagalog 和 Tamil 两种语言进行新的标记，共有 4 支队伍提交了他们的系统，最佳系统借助多样化的负样本和更大的预训练模型实现了 32.2 的 F1 值，而第二名则在 Tamil 语言的检索中取得了显著的进展。

Jul, 2022

多语言开放领域问答中的信息不一致性研究

本研究针对基于检索的开放领域问答系统，探究多语言环境下文献信息不一致的问题，分析多语言开放领域问答模型的检索偏差，探讨文化差异和信息不一致性对模型的影响。

May, 2022

跨语言密集文段检索的多语言问答模型

本研究提出 Cross-lingual Open-Retrieval Answer Generation (CORA) 模型，它是第一个可以回答跨多种语言问题的问答模型，利用密集型检索算法，与多语言自回归生成模型相结合，即可实现直接在目标语言下回答问题，获得了显著的效果提升，特别是在低资源环境下。

Jul, 2021

ZusammenQA：专用模型数据增强的跨语言开放检索问答系统

该论文提出了一种用于 COQA 多语言问题解答的系统，该系统使用多种模型变体在数据增强、语段检索和答案生成三个主要组件上进行了研究，并结合语言模型预训练和数据增强等方法有效提高了针对低资源语言的表现。

May, 2022

通过深层双语表示重新排名来改善低资源跨语言文档检索

本文提出了一种使用深度双语查询 - 文档表示来提高低资源跨语言文档检索性能的方法，并通过包括查询似然得分等额外特征，有效学习使用少量相关性标签为低资源语言对重新排序检索到的文档的模型。实验结果表明，本模型在 MATERIAL 数据集上优于竞争的基于翻译的对英斯瓦希里语、英语 - 塔加洛语和英语 - 索马里语跨语言信息检索任务的基线模型。

Jun, 2019

多语言池中的语言无关答案检索

介绍了 LAReQA - 一项新的挑战性基准测试，可从多语言候选池中进行语言无关的答案检索。在基于多语言 BERT 的基础上，研究了实现强交叉语言对齐的不同策略，发现通过机器翻译增加训练数据是有效的，同时，该基线在 LAReQA 上表现最好，但在仅瞄准 “弱” 对齐的任务中却不及竞争基线，这突显了语言无关检索是一种实质性新型跨语言评估。

Apr, 2020

跨语言问答作为冰岛语单语开放式问答的基础

该研究提出了一种数据节约的方法，通过有限的语言资源和机器翻译的数据以及双语语言模型，针对英语以外的其他语言，构建了开放领域跨语言 QA 系统，并使用冰岛语对该系统进行了测试。

Jul, 2022

教新狗古技：利用零 - shot 学习复苏多语言检索

本文旨在解决搜索引擎在非英语语言中的信息检索问题，并提出了基于预训练的多语言语言模型的检索系统，能有效提高阿拉伯语，普通话和西班牙语的检索准确性，并通过在英语数据集中增加目标语言样例来改进性能。

Dec, 2019