本研究分析了神经机器翻译模型在不同粒度上学习到的表示，并通过相关的外围特性对其质量进行评估，结果表明深层次的 NMT 模型学习了大量的语言信息，其中鲜明的发现包括：（i）词组结构和词类等语言单元在模型较低的层次上被捕捉；（ii）而词汇语义或非局部的句法和语义依存则在较高层次上表示更好；（iii）使用字符所学习的表示比使用子词单位所学习的更具有词形信息；（iv）多语言模型所学习的表示比双语模型更加丰富。

Nov, 2019

本文研究神经机器翻译的表示，探讨其对源语言和目标语言的理解以及对单词结构学习的影响，发现了一些关键参数对表示的影响

Apr, 2017

本文提出了一种新的神经机器翻译方法，采用层聚合和多层注意力机制，通过引入辅助正则化项促进不同层捕获多样化信息，实验结果表明该方法在 WMT14 英德和 WMT17 中英数据上具有普适性与有效性。

Oct, 2018

本文提出一个过程，用于研究神经机器翻译 (NMT) 系统生成的句子表示如何编码不同的语义现象，最终发现编码器最适合在语法 - 语义界面上支持推理，而不是需要世界知识的指代消解。

Apr, 2018

训练多任务自动编码器进行语言任务，分析学习到的句子隐藏表示。加入翻译和词性解码器时，表示将显着改变。使用的解码器越多，模型根据句法相似性对句子进行聚类的效果越好。通过插值句子来探索表示空间的结构，得出很多有可识别句法结构的伪英语句子。最后，我们指出了模型的一个有意思的特性：两个句子之间的差分向量可以添加到第三个具有类似特征的句子中，以有意义的方式改变它。

Jan, 2018

加入原型引导的源端表示式，减少稀疏性和过拟合，以提高神经机器翻译的组成泛化性能。实验结果表明，该方法在多个机器翻译数据集上比 Transformer 基线方法表现更优。

Oct, 2022

利用 1017 种语言构建一个神经机器翻译系统，预测存在于语分类数据库中缺失的语言特征，实验表明该方法不仅能推测句法特征，还能推测音位、音库特征。

Jul, 2017

本文提出用双向循环神经网络替代 NMT 源语言嵌入层，在任何所需的粒度水平上生成组合表示，从而解决基于统计的分词方法中可能导致的形态错误，实现了从字符 N-gram 组成词表示的 NMT 训练方法的一致逆袭。

May, 2018

本研究表明，多任务学习是将语言学标注引入端到端神经 attention 模型的一个成功和简单的方法，可以对翻译质量产生改善，并且也可以提高词性标注器的性能。

Aug, 2017

在低资源环境中，提出了一种用于模拟复杂形态的框架解决方案，该方案采用了双层 Transformer 架构来编码输入端的形态学信息。同时通过多标签多任务训练和基于 beam search 的解码器，提高了机器翻译性能，并使用通用形式的注意力增强方案来整合预训练语言模型和源语言和目标语言之间的词序关系建模。通过评估多种数据增强技术，提高了在低资源环境中的翻译性能，最终在基纳卢旺达语 - 英语翻译任务中取得了有竞争力的性能，希望我们的结果能够鼓励更多在低资源的神经机器翻译中使用明确的形态学信息以及所提出的模型和数据增强方法。

Apr, 2024