面向大规模多语言神经机器翻译的信息性语言表示学习

COLINGSep, 2022

面向大规模多语言神经机器翻译的信息性语言表示学习

Informative Language Representation Learning for Massively Multilingual Neural Machine Translation

Renren Jin, Deyi Xiong

TL;DR本研究提出了两种方法，即语言嵌入体现和语言感知多头注意力，以学习信息量丰富的语言表示，从而缓解在多语言神经机器翻译模型中引导翻译的语言令牌的失效问题，并且在两个大规模多语言神经机器翻译数据集上取得了显著的性能提升。同时，进一步的语言类型学预测实验证明，我们的方法学习到的基于矩阵的语言表示可以捕捉丰富的语言类型学特征。

Abstract

In a multilingual neural machine translation model that fully shares parameters across all languages, an artificial language token is usually used to guide translation into the desired target language. However, r

multilingual neural machine translation language embeddings multi-head attention linguistic typology

发现论文，激发创造

不是所有神经嵌入都是平等的

研究神经机器翻译模型和单语模型在表征词汇相似性和语法角色方面的性能，结果表明，神经翻译模型在捕捉概念的本体论状态方面比单语模型更胜一筹。

Oct, 2014

多语言翻译中基于人工语言的知识共享学习

本篇论文研究了多语言神经翻译的基石，即跨语言共享表示；论文通过将编码器输出离散化为一系列条目的方式，提高了模型的鲁棒性和泛化能力，并尝试使用一种人造语言来分析模型的行为，发现类似的桥梁语言能够增加知识共享。

Nov, 2022

利用神经机器翻译嵌入词汇相似度

该研究探讨神经机器翻译模型所学到的嵌入，在需要同时考虑概念相似性和词汇 - 句法角色知识的任务中，它们的性能优于单语言模型所学到的嵌入。研究结果还表明，词汇扩展算法对嵌入质量的影响很小。

Dec, 2014

用于零样本神经机器翻译的可变长度神经中介语表示

通过引入变长神经中介语表示，提高神经中介语表示的表达能力，以实现零 - shot 翻译的稳定性和优越性。

May, 2023

诱导语言无关的多语言表示

本研究提出三种方法以提高跨语言表示的效果，包括将目标语言的向量空间重新对齐到源语言，去除语言特异性的均值和方差，以及通过去除形态和句子重新排序来增加跨语言相似性。研究发现，这些方法联合使用可以降低跨语言转移障碍。

Aug, 2020

多语言机器翻译的神经国际语

本研究将显式神经间语纳入多语言编码 - 解码神经机器翻译（NMT）体系结构中，证明该模型通过直接零 - shot 翻译（不使用中转翻译）并使用源语句嵌入来创建英语 Yelp 评论分类器，该分类器能够通过神经间语协调法也对法语和德语评论进行分类，并且即使我们使用的参数数量比成对的 NMT 模型集合少，但我们的方法对于 WMT15 中的每个语言对产生了相当的 BLEU 得分。

Apr, 2018

编码器内部的语言转换：关于零翻译多语言中的表示转换

这篇论文通过研究多语言神经机器翻译中的表示转移，揭示了导致零射翻译不足的表示问题。研究中引入了身份对（一个句子翻译为自身），以解决多语言研究中基准测量缺失的问题，因为身份对代表了所有语言转移中的最佳表示状态。通过分析，我们证明编码器将源语言转移到目标语言的表示子空间，而不是语言无关的状态。因此，零射翻译不足是因为表示与其他语言相混合并且未能有效地转移到目标语言。基于我们的发现，我们提出了两种方法：1）在编码器中使用低秩语言特定嵌入，2）在解码器中进行语言特定的对比学习表示。在 Europarl-15、TED-19 和 OPUS-100 数据集上的实验结果表明，我们的方法显著提高了零射翻译的性能，改善了语言转移能力，从而为我们的结论提供了实际证据。

Jun, 2024

预训练语言模型表示用于语言生成

本文研究了将预训练的语言模型表征集成到序列到序列模型中的不同策略，并将其应用于神经机器翻译和抽象摘要。实验证明，加入编码器网络的预训练表示是最有效的，可以在减慢推理速度仅 14％的情况下获得高达 5.3 BLEU 的增益，并且即使有数百万个句对可用时，仍然可以观察到改进。最后，在 CNN / DailyMail 的完整文本版本上，我们达到了最新的研究成果。

Mar, 2019

预训练多语言表示的语言中立性

本文研究了多语种上下文嵌入的语言中性和词汇语义，提出了两种实现更强语言中性的方法，并展示了在不使用平行数据的情况下如何达到语言识别的最新准确率以及匹配平行句子的词对齐统计方法的性能。

Apr, 2020

利用神经机器翻译学习联合多语句子表示

本研究使用神经机器翻译框架跨越六种完全不同的语言，在学习联合句子表示方面。我们的目标是构建一种与语言无关的表示形式，有可能捕捉到基础的语义。我们定义了一种新的跨语言相似度衡量方式，对我们的模型学习出的 140 万个句子表示进行比较，并研究了相似句子的特征。实验证据表明，嵌入空间中相似的句子实际上具有高度的语义相关性，但通常具有不同的结构和语法。这种关系也适用于不同语言之间的比较。

Apr, 2017