Feb, 2024

大规模综合监督的跨语言开放领域问答预训练

PDF
TL;DR基于自我监督方法的编码器 - 解码器模型在跨语言问答中表现出色，利用维基百科的跨语言链接结构，综合生成监督信号，提高了检索和回答生成的性能，相比于其他方法，包括机器翻译，CLASS 方法在监督和零资源语言适配等方面均取得更好的效果。
cross-lingual question answeringclqaencoder-decoder modelself-supervised methodwikipedia
发现论文，激发创造
  • ZusammenQA：专用模型数据增强的跨语言开放检索问答系统

    该论文提出了一种用于 COQA 多语言问题解答的系统，该系统使用多种模型变体在数据增强、语段检索和答案生成三个主要组件上进行了研究，并结合语言模型预训练和数据增强等方法有效提高了针对低资源语言的表现。

    May, 2022

  • PAXQA: 在训练规模上生成跨语言问答实例

    本文提出了一种利用现有平行语料库进行间接监督的跨语言问答（QA）的合成数据生成方法，并使用词汇约束的机器翻译提高翻译质量，生成了跨越 4 种语言的 662K QA 样例数据集，并通过消融研究证明了该方法相对于自动单词对齐的噪声比较稳健。

    Apr, 2023

  • 零样本跨语言问答的合成数据增强

    本研究提出了一种方法来改善跨语言问答的表现，利用问答生成模型以跨语言的方式生成合成数据，无需额外标注数据，并展示了在四个多语言数据集上的表现显著优于仅使用英文数据的基线模型，创造了新的最优性能水平。

    Oct, 2020

  • 跨语言阅读理解的零样本多语言合成问答生成

    使用单一生成模型在大规模上生成多语言问题和答案对，通过多任务训练的生成模型来改进跨语言 QA 模型的零 - shot 表现，并在各种语言的 XQuAD 数据集上实现了较大的性能提升。

    Oct, 2020

  • 基于填空翻译的无监督问答

    本文探讨了利用无监督方法合成训练集数据以及不匹配的语料库训练 NMT 模型作为 cloze-to-natural question translator 来更有效地训练 QA 模型，这种方法已经在 SQuAD v1 数据集上验证，并且相较于过去的监督学习方法取得更好的表现。

    Jun, 2019

  • 用填空翻译和一致性优化实现零样本通识常识问答

    本研究针对常识问题回答（Commonsense question answering）的挑战，提出了利用预训练语言模型中的 “隐含知识”，通过四种翻译方法，探索如何更好地调动语言模型中的常识知识。研究通过在零样本情况下对三个 CQA 数据集进行实验，证明了该方法对增强模型的性能十分有效，并且结合外部知识库进一步提高了模型性能。同时，文章还分析了各种填空翻译方法的不同特点和优缺点。

    Jan, 2022

  • 简单有效的半监督问答

    本研究提出一种利用基础文档和少量标注数据进行深度学习提取式问答的方法，并通过对三个不同领域数据集的实验验证了其有效性。

    Apr, 2018

  • 使用翻译增强的多语言问答转移学习

    本文探索了提高多语言问题回答的交叉语言转移性能的策略，包括使用机器翻译生成的数据来增强原始英语训练数据，以及提出两种新颖的策略：语言对抗性训练和语言仲裁框架，这些策略显著提高了零资源的交叉语言转移性能，并导致 LM 嵌入不那么语言特定的结果。经验证明，这些模型在最近推出的 multilingual MLQA 和 TyDiQA 数据集上优于以前的零 - shot 基线。

    Dec, 2020

  • MLQA：评估跨语言抽取式问答

    该研究提出了一个名为 MLQA 的多语言提取式问答（QA）评估基准，旨在推动跨语言 QA 研究。 MLQA 包含 7 种语言的 QA 实例，并使用一种新颖的对齐上下文策略，基于 Wikipedia 文章构建，以此作为现有提取式 QA 数据集的跨语言扩展。

    Oct, 2019

  • 利用预训练和大型语言模型提升社区问答中的答案选择

    本文提出了使用预训练模型的 Question-Answer 交叉注意网络（QAN）进行回答选择，并利用大型语言模型（LLM）来进行具有知识增强的回答选择。实验证明，QAN 模型在 SemEval2015 和 SemEval2017 数据集上实现了最新的性能。同时，LLM 利用外部知识进行问题和正确答案的知识增强，并通过不同方面对 LLM 的提示进行优化，结果表明外部知识的引入可以提高 LLM 在 SemEval2015 和 SemEval2017 数据集上的正确答案选择率，同时通过优化提示，LLM 也能在更多问题上选择正确的答案。

    Nov, 2023