Apr, 2024

mOthello: 跨语言表示对齐和跨语言迁移在多语言模型中的出现时机

HTML
PDF
TL;DR预训练的多语言模型在交叉语言迁移方面展现出了能力，本研究旨在探讨学习语言中性表示的因素以及该表示是否足以促进交叉语言迁移。通过引入“锚定标记”，可以帮助跨语言表示对齐，而仅仅学习语言中性表示是不足以促进交叉语言迁移的。基于研究结果，提出一种新的方法 - 统一输出空间的多语言预训练 - 既能够诱导学习语言中性表示，又能促进交叉语言迁移。
发现论文，激发创造
  • 跨语言对齐与联合训练：比较研究和简单统一框架

    本文研究了两种多语言文本学习方法，即alignment和joint training，并提出了将这两种方法结合的框架。实验证明，该框架改善了现有方法的局限性，在MUSE双语词汇诱导（BLI）基准测试中性能优于现有方法，并在CoNLL跨语言NER基准测试上产生了最新的结果。

    Oct, 2019

  • 预训练语言模型中新兴的跨语言结构

    通过研究多语言掩码语言建模问题，我们阐述了若干因素，即为何这些模型在跨语言转移方面如此有效，并证明了即使单语料库之间没有共享词汇，也可以进行转移，只需在多语言编码器顶层存在一些共享参数。同时，我们展示了来自不同语言、独立训练模型的表示可以很好地进行后期对齐，这些模型似乎自动发现和对齐了学习嵌入空间中的普遍潜在对称性。对于多语言掩码语言建模，这些对称性似乎是在联合训练过程中自动发现和对齐的。

    Nov, 2019

  • 多语言递归神经网络中的跨语言句法转移理解

    研究了现代神经语言模型的多语言训练中的字面表示空间和纯语法知识的共享，发现暴露我们的LMs与相关语言并不总是增加目标语言的语法知识，并且在语义转移的最佳条件下并不一定是语法转移的最佳条件。

    Mar, 2020

  • 先对齐，再预测：理解多语言BERT的跨语言能力

    使用一种新的层摘除技术和模型内部表示的分析方法，我们发现多语言 BERT 可看作两个子网络的堆叠：一个多语言编码器和一个任务特定的语言无关的预测器。编码器对于跨语言传递非常关键，在微调过程中大部分不变，而任务预测对传递影响很小，可以在微调期间重新初始化。

    Jan, 2021

  • 多语言模型中的语言中立子网络发现

    本文使用抽象的彩票票假设，发现不同语言的子网络是拓扑相似的（即语言中性），这使它们成为具有有限性能下降的跨语言转移的有效初始化。

    May, 2022

  • 多语言编码器如何学习跨语言表示？

    本文主要研究NLP系统中的多语言支持，其中提到Multilingual BERT作为一个可应用于104种语言的替代方案，通过分析Multilingual BERT的行为和跨语言传输与这些模型的优化行为，提供更好的跨语言模型和跨语言传输理解。

    Jul, 2022

  • 多语言语言模型跨语言转移因素的共同理解：一篇综述

    本综述论文旨在调查不同因素对多语言预训练语言模型实现零-shot跨语言转移的贡献，提供了对过去研究的实证证据概要，并识别一致性结果以及解决矛盾之处，进而为未来研究提供参考点与指导。

    May, 2023

  • 多语言变压器中对齐和跨语言转移之间的关系探究

    本文研究了多语言语言模型的跨语言转移，并通过证据表明，对翻译句子中的单词对进行重新对准可以在某些情况下显著提高跨语言转移，特别是使用双语词典而不是FastAlign提取对齐对的任务中。

    Jun, 2023

  • 机器翻译：跨语言预训练和跨语言迁移学习的桥梁吗？

    利用机器翻译作为持续训练目标来增强语言表示学习在跨语言学习中的作用研究发现，机器翻译无法增强多个跨语言自然语言理解任务中的跨语言表示学习，这对未来的跨语言转移研究有重要影响。

    Mar, 2024

  • 跨语言对齐的理解--综述

    近年来，跨语言对齐是多语言语言模型研究的一个活跃领域。本文概述了改进跨语言对齐的技术方法，并总结了该领域的见解。我们提供了对大量论文的定性总结结果。最后，我们讨论了这些见解不仅适用于已经深入研究这一主题的编码器模型，还适用于编码器-解码器甚至只有解码器的模型，并指出平衡语言中立和语言特定信息的有效权衡是关键。

    Apr, 2024