本文提出了一种新的神经机器翻译方法，采用层聚合和多层注意力机制，通过引入辅助正则化项促进不同层捕获多样化信息，实验结果表明该方法在 WMT14 英德和 WMT17 中英数据上具有普适性与有效性。

Oct, 2018

该研究提出了一种名为 Group-Transformer 的模型，通过将编码器和解码器的多层表示分组，融合这些组特征来生成目标词，实现了在多语种翻译任务中的表现优于 Transformer 的一致收益。

Jul, 2022

本文提出了一种基于多视图学习和一致性正则化的方法来解决传统神经机器翻译中编码器只能根据顶层编码器层的上下文表示而不能直接感知较低编码器层的上下文表示的问题，并在五个翻译任务上进行了实验证明其有效性和稳定性，此外，该方法不依赖于网络架构。

Nov, 2020

我们在相同任务和输入上提出了一个机器翻译模型和 LLM 的即时集成方法。我们在 4 个语言对（两个方向）上进行了实验，并且数据量有所不同。我们发现，稍微差一些的 LLM 可以提高 NMT 模型的翻译质量，并且与 LLM 集成可以产生比两个更强的机器翻译模型集成更好的翻译结果。我们结合了 LLM 提示的各种技术，如上下文学习和翻译上下文。

Nov, 2023

本研究比较了将语言模型融合进神经机器翻译的几种方法，并提出了一种新的利用预训练语言模型得分的简单方法，使得翻译模型能够专注于源语言建模，从而在四个测试数据集上取得了 BLEU 值 0.24 至 2.36 的提升。

Sep, 2018

本论文提出了一种新型的基于图的多模态融合编码器，用于多模态神经机器翻译（NMT）中利用不同模态语义单元之间的细粒度语义对应关系，以优化多模态表示学习，并在 Multi30K 数据集上验证了模型的卓越性能。

Jul, 2020

通过引入 fuse-attention 模块，提出了一种扩展的序列到序列模型（ extsc {FuSion}），以适当地将上一层的信息融合回编码和解码过程中，有效地解决了表示缠结问题，并在两个实际基准测试上取得了竞争性甚至最先进的结果，从而验证了我们的提议的有效性。

Jul, 2023

本文提出了一种名为多尺度协作（MultiScale Collaborative）的框架，通过引入块尺度协作机制和上下文尺度协作增强梯度反向传播，并让每个编码器块学习细粒度的表示，以增加神经机器翻译模型的深度，从而提高翻译质量，并在多项任务中证明了该方法的有效性。

Apr, 2020

利用经过预训练的语言表示模型的中间和最终层提取句子中的语法错误特征，通过多头多层的注意力模型，使用 Bidirectional Encoder Representation from Transformers (BERT) ，在三个语法错误数据集上实现更好的 F_0.5 分数，比当前最先进的方法分别高出 6.0（FCE），8.2（CoNLL14）和 12.2（JFLEG）个百分点，并证明利用多头多层注意力，我们的模型可以利用句子中每个记号的更广泛信息。

Apr, 2019

介绍了一种通过引入语言特定的变压器层来增加模型容量、提高翻译质量的方法，并通过神经架构搜索实现最佳层次排列，从而在不增加计算量和参数数量的情况下，提升 1.3 chrF (1.5 spBLEU) 或 1.9 chrF (2.2 spBLEU) 的翻译质量。

May, 2023