May, 2022

多语言模型中的语言中立子网络发现

PDF
TL;DR本文使用抽象的彩票票假设，发现不同语言的子网络是拓扑相似的（即语言中性），这使它们成为具有有限性能下降的跨语言转移的有效初始化。
multilingual pre-trained language modelslanguage-neutral representationscross-lingual transfer performancelottery ticket hypothesissub-networks
发现论文，激发创造
  • 具有语言特定子网络的数据有效跨语言转移

    本文提出了一种在多语言模型中使用语言特定的子网络的新方法，以控制跨语言参数共享，减少冲突，并在微调过程中增加正向迁移能力，结合元学习技术进行优化，通过广泛的分析验证了方法对模型的影响。

    Oct, 2022

  • 多语言语言模型表示的几何学

    本文使用 XLM-R 为案例研究，研究了多语言语言模型如何在维持共享多语言表示空间同时在每种语言中编码语言敏感信息，并证明了多语言语言模型沿着语言敏感和语言中性轴编码信息，使其能够提取下游任务和跨语言传递学习的各种特征。

    May, 2022

  • 预训练多语言表示的语言中立性

    本文研究了多语种上下文嵌入的语言中性和词汇语义，提出了两种实现更强语言中性的方法，并展示了在不使用平行数据的情况下如何达到语言识别的最新准确率以及匹配平行句子的词对齐统计方法的性能。

    Apr, 2020

  • 多语言模型中的语言表示研究

    通过研究多语言模型的语言学表示，我们发现针对低资源语言，以某个语言家族或地理位置为重点且由这些语言使用者构建的社区中心模型在区分同一语言家族的语言方面表现更好，有助于理解多语言模型的问题并提供改进方法。

    Oct, 2023

  • mOthello: 跨语言表示对齐和跨语言迁移在多语言模型中的出现时机

    预训练的多语言模型在交叉语言迁移方面展现出了能力，本研究旨在探讨学习语言中性表示的因素以及该表示是否足以促进交叉语言迁移。通过引入 “锚定标记”，可以帮助跨语言表示对齐，而仅仅学习语言中性表示是不足以促进交叉语言迁移的。基于研究结果，提出一种新的方法 - 统一输出空间的多语言预训练 - 既能够诱导学习语言中性表示，又能促进交叉语言迁移。

    Apr, 2024

  • 通过语言专业化子网络研究多语言语言模型的模块化

    通过使用稀疏微调的语言子网络作为更好引导跨语言共享的手段，最近的研究提出在多语言语言模型中明确引入语言模块化。本文研究了 (1) 在没有特殊模块化干预的情况下，语言模块化自然形成的程度，以及 (2) 这种模型与具有显式稀疏微调引导的子网络模块化的模型之间跨语言共享和干扰的差异。通过使用训练数据归因方法来量化语言专门化和跨语言交互，我们的结果表明，语言专门化的子网络确实自然形成，并且稀疏微调不一定增加模块化，而是可能减少子网络的语言专门化，更倾向于进行跨语言共享。

    Nov, 2023

  • 关于单语表示的跨语言转移性

    新颖的跨语言转移学习方法 - 从单语言模型到新语言，通过学习一个新的词嵌入矩阵来实现，该方法与现有不需要共享词汇表或联合训练的最先进的无监督多语言模型的跨语言分类基准测试表现相似。

    Oct, 2019

  • 多语言递归神经网络中的跨语言句法转移理解

    研究了现代神经语言模型的多语言训练中的字面表示空间和纯语法知识的共享，发现暴露我们的 LMs 与相关语言并不总是增加目标语言的语法知识，并且在语义转移的最佳条件下并不一定是语法转移的最佳条件。

    Mar, 2020

  • 以字节衡量跨语言转移

    通过实验证实，多语言预训练可以在源语言和目标语言之间进行跨语言迁移，且不仅语言污染和语言近似性是影响迁移的因素，还有一种语言无关的知识组件，可以用于跨语言迁移和知识传递。

    Apr, 2024

  • X-SNS：通过子网络相似性进行跨语言转移预测

    通过使用两种语言之间的子网络相似性作为预测跨语言转移 (XLT) 的语言兼容性的代理方法，本研究提出了一种以模型为导向，仅需要适量原始文本的方法，进一步提高了 XLT 的效能。实验证明我们的方法在多样性任务上优于其他基准模型，并能有效对零样本 XLT 进行排名，平均 NDCG@3 提高了 4.6%。此外，我们还对子网络在 XLT 预测中的实用性进行了广泛的分析。

    Oct, 2023