本研究考察了神经网络在非书面语境下的词语发现任务中的应用，其中包括无监督和有限监督两种情形，结果表明在只有 5,157 个句子的情况下，使用编码器 - 解码器神经机器翻译系统进行训练可以检索出至少 27% 的词汇量。此外，我们的方法具有生成翻译对位的优势，这可用于创建双语词表。未来可以直接从语音输入中使用此方法。

Sep, 2017

本文提出了一种基于神经网络的词汇选择模型，通过对编码器状态的上下文化表示进行预测，来代替传统基于独立对齐模型参数的词汇选择方法，从而更好地处理语言中的词组、成语等非复合的语义现象，从而获得与传统独立对齐选择方法相同甚至更好的翻译质量，并减少了翻译时刻的依赖。

May, 2022

本文提出将字节对编码（Byte Pair Encoding）引入到通用无监督框架中以解决翻译任务中由于罕见或未知单词对翻译效果的限制，经实验验证在德英和中英翻译任务中，使用 accessor variety 和 description length gain 进行优化能在不同程度上优于基线频率加权方案。

Jul, 2018

提出一种使用 NMT 训练过程中直接从 attention layer 中学习候选列表的新方法，该方法高度优化当前 NMT 模型的候选列表，无须对候选池进行外部计算并实现了在不降低翻译质量的情况下显著提高解码速度。

Jun, 2017

本文介绍了关于翻译模型的研究，尝试通过使用上下文和嵌入式选择方法对其进行改进，可以大幅度地提高神经翻译模型的效率和速度。

Oct, 2016

本文针对 NMT 中 OOV 问题进行研究，发现尽管 BPE 可在一定程度上处理 OOV，但仍有相当一部分单词翻译错误，特别是涉及语言间距离较远的情况。

Aug, 2022

本文提出一种基于词频感知的令牌级对比学习方法，旨在从表示学习角度解决现代神经机器翻译系统中低频词预测的挑战。经实验证明，所提出的方法不仅可以显著提高翻译质量，还可以增加词汇多样性并优化词表示空间。与相关的自适应训练策略相比，该方法在不牺牲精度的前提下提高了低频词汇量的召回率稳健性。

Dec, 2021

本文介绍了三种增强现有编码器 - 解码器模型的方法，以有效地模拟连贯性并促进输出多样性，它们在 OpenSubtitles 语料库上的实验表明，与竞争神经模型相比，在 BLEU 分数以及连贯性和多样性度量方面均有极大改善。

Sep, 2018

利用大量弱监督的双语数据，训练 Transformer 序列到序列模型，并采用迭代解码策略来进行语法错误纠正，最终在 CoNLL'14 基准测试上获得 F0.5 为 58.3，在 JFLEG 上获得 GLEU 为 62.4，即使不使用任何有标记的 GEC 数据，在 CoNLL'14 上的 F0.5 也能达到 48.2。

Oct, 2018

本文提出使用离散的翻译词典，通过使用 NMT 模型的 attention 向量选择需要聚焦的源单词的词典概率，从而缓解 NMT 在翻译低频词汇时出现的错误，并进行了两种方法的实验，结果显示翻译质量（BLEU）得分有明显提高。

Jun, 2016