ICLROct, 2019

跨语言对齐与联合训练：比较研究和简单统一框架

PDF
TL;DR本文研究了两种多语言文本学习方法，即 alignment 和 joint training，并提出了将这两种方法结合的框架。实验证明，该框架改善了现有方法的局限性，在 MUSE 双语词汇诱导（BLI）基准测试中性能优于现有方法，并在 CoNLL 跨语言 NER 基准测试上产生了最新的结果。
multilingual representationsalignmentjoint trainingbilingual lexicon inductioncross-lingual ner
发现论文，激发创造
  • 从双语对齐到多语对齐：无监督平行文本挖掘

    本文提出一种跨语言句子表示的学习方法，介绍了双轴转移的训练策略，并通过实验表明这种策略可以应用于获取具有多语言对齐的句子表示。

    Apr, 2021

  • 利用神经机器翻译学习联合多语句子表示

    本研究使用神经机器翻译框架跨越六种完全不同的语言，在学习联合句子表示方面。我们的目标是构建一种与语言无关的表示形式，有可能捕捉到基础的语义。我们定义了一种新的跨语言相似度衡量方式，对我们的模型学习出的 140 万个句子表示进行比较，并研究了相似句子的特征。实验证据表明，嵌入空间中相似的句子实际上具有高度的语义相关性，但通常具有不同的结构和语法。这种关系也适用于不同语言之间的比较。

    Apr, 2017

  • 预训练后的对齐：通过跨语言对齐提升多语生成模型

    通过利用翻译句子对齐内部句子表示，并通过回答不同语言的提示问题对齐模型输出，我们提出了一个简单而有效的对齐框架，显著增强了生成模型的跨语言能力并减小了性能差异。进一步分析表明，它导致了更好的多语言模型的内部多语言表示分布。

    Nov, 2023

  • 多语言 BERT 的跨语言对齐方法：一项比较研究

    本文分析了不同形式的跨语言监督和各种对齐方法对 Multilingual BERT 在零 - shot 设置下的转移能力的影响，比较了平行语料库 vs. 字典导向的监督和旋转 vs. 微调对齐方法，针对两个任务（名称实体识别和语义槽填充），我们评估了不同对齐方法在八种语言上的性能，并提出了一种新的规范化方法，该方法不断改进基于旋转的对齐性能，特别是远距离和在语言类型上不同的语言。此外，我们还发现对于任务和转移语言的接近程度，不同的对齐方法存在偏差，平行语料库的监督力度通常优于字典对齐。

    Sep, 2020

  • 通过注重远程监督，联合学习跨语言词汇和实体的表示

    本研究提出了一种新的跨语言词和实体联合表示学习方法，通过多语言知识库进行远程监督，利用两种正则化方法和知识和跨语言关注降低噪声， 实验结果定性和定量证明了该方法的显著性。

    Nov, 2018

  • mOthello: 跨语言表示对齐和跨语言迁移在多语言模型中的出现时机

    预训练的多语言模型在交叉语言迁移方面展现出了能力，本研究旨在探讨学习语言中性表示的因素以及该表示是否足以促进交叉语言迁移。通过引入 “锚定标记”，可以帮助跨语言表示对齐，而仅仅学习语言中性表示是不足以促进交叉语言迁移的。基于研究结果，提出一种新的方法 - 统一输出空间的多语言预训练 - 既能够诱导学习语言中性表示，又能促进交叉语言迁移。

    Apr, 2024

  • 多语言变压器中对齐和跨语言转移之间的关系探究

    本文研究了多语言语言模型的跨语言转移，并通过证据表明，对翻译句子中的单词对进行重新对准可以在某些情况下显著提高跨语言转移，特别是使用双语词典而不是 FastAlign 提取对齐对的任务中。

    Jun, 2023

  • 跨语言对齐的理解 -- 综述

    近年来，跨语言对齐是多语言语言模型研究的一个活跃领域。本文概述了改进跨语言对齐的技术方法，并总结了该领域的见解。我们提供了对大量论文的定性总结结果。最后，我们讨论了这些见解不仅适用于已经深入研究这一主题的编码器模型，还适用于编码器 - 解码器甚至只有解码器的模型，并指出平衡语言中立和语言特定信息的有效权衡是关键。

    Apr, 2024

  • 关于单语表示的跨语言转移性

    新颖的跨语言转移学习方法 - 从单语言模型到新语言，通过学习一个新的词嵌入矩阵来实现，该方法与现有不需要共享词汇表或联合训练的最先进的无监督多语言模型的跨语言分类基准测试表现相似。

    Oct, 2019

  • 机器翻译：跨语言预训练和跨语言迁移学习的桥梁吗？

    利用机器翻译作为持续训练目标来增强语言表示学习在跨语言学习中的作用研究发现，机器翻译无法增强多个跨语言自然语言理解任务中的跨语言表示学习，这对未来的跨语言转移研究有重要影响。

    Mar, 2024