使用具有缓存机制的分层 LSTM 语言模型在多种语言维基百科文章上进行开放词汇量语言建模，通过字符级别的生成实现不同语言之间的数据共享，进而可以有效解决固定词汇量模型中常见的新词问题。

Apr, 2017

本文提出了一种基于重要性采样的方法，使我们可以使用非常大的目标词汇，有效地进行解码，可以优于基准模型和 LSTM-based 神经机器翻译模型，并使用多个模型集成实现了英 -> 德翻译的最先进性能（由 BLEU 度量）。

Dec, 2014

本文提出了一种句子级或批量级词汇表来缓解神经机器翻译模型中需使用大词汇表的问题。此方法根据源句子中每个单词或短语的翻译选项，选择非常小的目标词汇表，并基于单词翻译模型或双语短语库来实现。实验结果表明，该方法在英法翻译任务中的 BLEU 分数比 Jean 等人使用大词汇表的神经机器翻译系统高 1 个点。

May, 2016

计算建模对于语言的产生起着重要作用，通过模拟真实环境中可能引发结构化语言产生的条件和学习过程。本文探讨了一类最近在机器学习领域引起革命的计算模型：深度学习模型。章节介绍了深度学习和强化学习方法的基本概念，并总结了它们在模拟语言产生方面的帮助。还讨论了主要发现、限制以及近期构建逼真模拟的尝试。该章针对寻求使用深度学习作为研究语言进化工具的语言学家和认知科学家。

Mar, 2024

本研究提出了一种简单的词汇适应方案，以扩大多语言机器翻译模型的语言容量，为多语言机器翻译的高效连续学习铺平了道路。我们的方法适用于大规模数据集，适用于未见过脚本的远程语言，在原始语言对的翻译性能上只有轻微的降低，在仅拥有新语言的单语数据的情况下也提供了具有竞争力的性能。

Mar, 2021

该研究探讨神经机器翻译模型所学到的嵌入，在需要同时考虑概念相似性和词汇 - 句法角色知识的任务中，它们的性能优于单语言模型所学到的嵌入。研究结果还表明，词汇扩展算法对嵌入质量的影响很小。

Dec, 2014

利用 1017 种语言构建一个神经机器翻译系统，预测存在于语分类数据库中缺失的语言特征，实验表明该方法不仅能推测句法特征，还能推测音位、音库特征。

Jul, 2017

本研究提出了一种神经机器翻译（NMT）模型间的知识转移方法，通过共享动态词汇表来适应新语言，以达到提高翻译性能的目的，并在多种语言方向上进行了实验，结果表明具有良好的性能。

Nov, 2018

该研究提出一种基于循环语言建模的神经模型，通过考虑作者和时间向量状态来捕捉作者社区的语言扩散趋势，从而超越了多个基于时间和非时间的语言基线，并学习了随时间变化的有意义的作者表示。

Sep, 2019

通过模仿学习 imitate learning 的方法扩展大规模多语言神经机器翻译 MNMT 模型，解决了新语言增加后导致性能下降的问题，并改善了翻译性能和解决了当前大规模神经机器翻译模型中常见的复制和偏离问题。

Nov, 2023