- 无监督神经机器翻译的实证研究：NMT 输出、模型行为和句子贡献的分析
无监督神经机器翻译（UNMT）关注于提高无人翻译平行数据的 NMT 结果，但在突出其优势与分析除翻译准确性以外的输出方面，迄今为止还做得很少。我们聚焦于三种非常不同的语言，法语、古吉拉特语和哈萨克语，并使用不同程度的监督来训练双语 NMT - 关于后向翻译的合成数据
通过理论和实证研究，我们确定了合成数据对回译神经机器翻译（NMT）性能的两个关键因素，即质量和重要性。基于我们的发现，我们提出了一种简单而有效的方法来生成合成数据，以更好地权衡这两个因素，从而为回译提供更好的性能。通过在 WMT14 的基准 - ICLR利用辅助领域并行数据进行中间任务微调，用于低资源翻译
本文研究表明，在缺乏足够的平行数据进行微调的情况下，基于预训练多语言序列 - 序列（PMSS）模型训练的 NMT 系统会受到影响，尤其是这些模型中缺少或代表不足的语言。当数据来自不同的领域时，问题会加剧。本文表明，对 PMSS 模型进行中间 - 最近邻机器翻译是输出投影层上的元优化器
本文分析了 $k$NN-MT 的理论和实证研究，以及针对多域实验和单词级别的分析，发现在特定情况下，结合 $k$NN-MT 和适配器的方法能够实现与在域测试集上微调相当的翻译性能，并在域外测试集上取得更好的性能，同时，优化上下文表示可以弥补 - 多词语表达对英语到 Bharti 盲文机器翻译的影响
本文介绍一种改进了的英文到 Bharti 盲文的机器翻译系统，通过添加语言知识和翻译多词表达式子模块实现了对 NMT 模型的改进，目标语言为五种印度语言，英印语言对翻译质量最高达到 23.30% 的提高。
- Attention Link: 一种高效的基于注意力机制的低资源机器翻译架构
本文提出了一种新的架构，即注意力链接（AL），以在低训练资源情况下改善 transformer 模型表现，并在多个翻译任务中进行了实验，结果表明该注意力链接可以显著改善 BLEU 得分，实现了 37.9 的 BLEU 分数，且在 IWSLT - EMNLP面向鲁棒的 k 近邻机器翻译
本文研究并发现 kNN-MT 的性能下降问题，提出了一种信心增强的 kNN-MT 模型，结合鲁棒训练和两种扰动方式以达到在基准数据集上实现显着改进和更好的鲁棒性的效果。
- 使用大规模多语言预训练语言模型实现临床领域实际零 - shot 神经机器翻译
本文研究了大规模多语言预训练语言模型是否可以应用于全新的语言对和领域的零 - shot 机器翻译，实验证明对于在其原始预训练语料库中没有包含的英 - 西语言对的临床数据的微调非常成功，是 MMPLMs 实现真正的零 - shot NMT 在 - ACL多语言双向无监督翻译：借助多语言微调和回译
本文提出了 EcXTra 方法，使用预训练模型，在 40 种语言间进行多语言微调，使用双向回译来生成合成的语言平行数据，达到了无监督 NMT 的翻译效果。该方法在处理低资源语言上表现出优秀的翻译性能，尤其在英语到哈萨克语的翻译任务上达到了新 - 修补 Charformer 中的漏洞，以实现高效的字符级生成
本研究提出了一种解决 Charformer 在 Transformer 解码器中信息泄漏问题的方法，从而实现字符分组。研究发现 Charformer 的下采样在 NMT 中的翻译质量没有明显的优势，但训练速度可以提高 30%，在英––土耳其 - ACL神经机器翻译的通用条件掩码语言预训练
本文介绍了一种 CeMAT 方法，即一种在双语和单语语料库上进行预训练的条件掩码语言模型，其中包括双向解码器，通过该方法可以在低资源及高资源语言下分别提高 14.4 BLEU 和 7.9 BLEU 及能显著提高 Autoregressive - 通过利用个人领域专业知识对 JA <-> EN 语言对进行优化，改进机器翻译的最新技术
本文介绍了一个基于 Transformer 结构和 OpenNMT 框架的 En/Ja 神经机器翻译系统的构建，详细探讨了预处理、超参数调整和模型结构等因素的影响，并通过 BLEU 等标准自动评估指标以及作者的主观评估证实了其优异性能。
- COLING机器翻译中提高领域鲁棒性和领域适应性
本文探讨了基于元学习的神经机器翻译领域自适应的两个问题；一是如何实现跨领域鲁棒性，即在训练数据包括两个领域时获得高质量的翻译结果；二是如何实现适应性，即仅利用数百个领域内的平行句子对系统进行微调。我们的研究表明，我们提出的元学习模型（RML - ACL为实现零样本神经机器翻译最大化利用多语言预训练
论文证明多语言预训练和微调策略对于零 - shot 翻译是至关重要的，本文提出了一个强大的多语言翻译模型 SixT+，支持 100 多种源语言，并实现了在不同翻译任务中的最好表现。
- ACL神经机器翻译中准确的目标属性预测
本研究探讨在神经机器翻译中，针对某些属性（如单词大小写或性别）控制训练数据，以预测目标单词和属性，能够使翻译更忠实于这些属性的训练数据分布。通过在大写输入翻译和性别预测两个任务上的实验结果，证明该策略有助于在测试中镜像训练数据分布，并促进大 - EMNLP神经机器翻译的非参数无监督域自适应
提出了一种基于自动编码器的 $k$NN-MT 方法，可以利用目标语言的单语句子构建有效的数据库来达到无监督的领域自适应翻译，从而提高翻译的准确性和可靠性。
- EMNLP用基于采样的方法逼近最小贝叶斯风险解码在神经机器翻译中的应用
本研究分析了一种比 beam search 更有效的基于最小贝叶斯风险译码的决策规则，并设计了基于搜索和估计效用的成本分离近似算法，探讨了以模式为导向的策略对译文翻译的效果，实验证明这种方法在三种语言对中均能提高翻译质量。
- ACL神经对话翻译中双语对话特征建模
本研究旨在通过设计潜在变分模块来提高自然语言机器翻译中针对双语对话文本的翻译质量， 在英德数据集 BConTrasT 以及英汉数据集 BMELD 上的实验证明该方法较好地增强了翻译质量并明显超过了一些最先进的具有上下文感知的 NMT 模型， - ACL利用单语数据不确定性的自训练采样在神经机器翻译中的应用
本文提出了一种基于不确定性采样的自训练方法，通过选择最具信息价值的单一语言句子来补充平行数据，以提高 NMT 的性能，在大规模数据集上进行实验证明了这种方法的有效性，并表明该方法能够提高翻译质量和预测低频单词。
- EMNLP多语言预训练编码器在零样本跨语言神经机器翻译中的应用
本研究提出了 SixT，一种利用多语言预训练编码器（MPE）来促进神经机器翻译模型的跨语言迁移的方法。通过采用两阶段训练计划和位置解缠编码器以及容量增强解码器，SixT 在零基础多语言翻译任务上取得了比已有模型更好的结果。