May, 2019

XLDA：基于跨语言数据增强的自然语言推断与问答

PDF
TL;DR介绍了一种名为 XLDA 的跨语言数据增强方法，该方法通过替换输入文本中的部分内容为另一种语言的翻译来改善跨语言自然语言推理任务的性能，在 14 种语言的测试中均获得了提升，并在希腊语、土耳其语和乌尔都语方面取得了最好的性能，且远优于其他方法。
发现论文，激发创造
  • XNLI 2.0：改进 XNLI 数据集和跨语言理解（XLU）性能

    本篇研究通过重新翻译 14 种不同语言的 MNLI 数据集，包括 XNLI 测试和开发集，以改进原始 XNLI 数据集，并通过在 15 种不同语言中训练模型并分析其在自然语言推断任务上的表现来实现跨语言理解和自然语言处理，同时通过在英语以外的语言中训练模型来探索在资源匮乏的语言（如斯瓦希里和乌尔都语）中提高性能的可能性。

    Jan, 2023

  • 使用翻译增强的多语言问答转移学习

    本文探索了提高多语言问题回答的交叉语言转移性能的策略，包括使用机器翻译生成的数据来增强原始英语训练数据，以及提出两种新颖的策略：语言对抗性训练和语言仲裁框架，这些策略显著提高了零资源的交叉语言转移性能，并导致 LM 嵌入不那么语言特定的结果。经验证明，这些模型在最近推出的 multilingual MLQA 和 TyDiQA 数据集上优于以前的零 - shot 基线。

    Dec, 2020

  • 零样本跨语言问答的合成数据增强

    本研究提出了一种方法来改善跨语言问答的表现，利用问答生成模型以跨语言的方式生成合成数据，无需额外标注数据，并展示了在四个多语言数据集上的表现显著优于仅使用英文数据的基线模型，创造了新的最优性能水平。

    Oct, 2020

  • X-METRA-ADA: 跨语言元迁移学习自然语言理解和问答

    该研究提出了一种名为 X-METRA-ADA 的交叉语言 MEta-TRAnsfer 学习 ADAptation 方法，其采用元学习技术来增强自然语言理解（NLU）领域中的跨语言转化，并通过两个跨语言 NLU 任务的大量实验证明了该方法性能优于朴素微调方法，该方法能够利用有限数据进行更快的适应。

    Apr, 2021

  • UXLA：零资源跨语言自然语言处理的强大无监督数据增强框架

    提出了 UXLA，一种新的无监督数据增强框架，用于零资源转移学习场景中的跨语言适应问题。UXLA 在三个不同的零资源跨语言转移任务上取得了 SOTA 结果，胜过基准线很多。

    Apr, 2020

  • 跨语言转移还是机器翻译？关于单语义文本相似性的数据增强

    通过比较两种数据技术（跨语言转移和机器翻译），研究发现，使用英文数据训练的跨语言转移和使用英文数据转换为伪非英文训练数据的机器翻译在日语和韩语的单语 STS 上表现相当。此外，研究还发现 Wikipedia 领域在这些语言上优于 NLI 领域，并结合这些发现实验表明，跨语言转移 Wikipedia 数据能够提高单语 STS 的性能。

    Mar, 2024

  • 评估跨语言句子表示的 XNLI

    本文提出了 XNLI 数据集用于跨语言句子理解的评估，并研究了多语言句子理解的基准和挑战。

    Sep, 2018

  • PAXQA: 在训练规模上生成跨语言问答实例

    本文提出了一种利用现有平行语料库进行间接监督的跨语言问答（QA）的合成数据生成方法，并使用词汇约束的机器翻译提高翻译质量，生成了跨越 4 种语言的 662K QA 样例数据集，并通过消融研究证明了该方法相对于自动单词对齐的噪声比较稳健。

    Apr, 2023

  • MLQA：评估跨语言抽取式问答

    该研究提出了一个名为 MLQA 的多语言提取式问答（QA）评估基准，旨在推动跨语言 QA 研究。 MLQA 包含 7 种语言的 QA 实例，并使用一种新颖的对齐上下文策略，基于 Wikipedia 文章构建，以此作为现有提取式 QA 数据集的跨语言扩展。

    Oct, 2019

  • 基于 LLM 的数据增强方法提升跨语言表现

    本研究探讨了利用大型语言模型进行数据增强在跨语言常识推理数据集中的潜力，通过使用包括 Dolly-v2、StableVicuna、ChatGPT 和 GPT-4 在内的大型语言模型来扩充三个数据集，确定了该方法的有效性，并比较了使用英语生成数据和将英语生成的数据翻译成目标语言。实验结果表明，使用 GPT-4 生成的合成数据进行训练的性能比其他模型优秀，ChatGPT 和 GPT-4 在大多数语言中生成的自然文本效果非常好，但在某些情况下，它们的效益会下降。

    May, 2023