本文提出了一种生成式知识迁移的技术，使用以前训练的基于 RNN 的语言模型 (RNN 学生网络) 生成的文本和输出概率来训练一个新的语言模型。我们还可以通过使用多个教师网络的软标签组合来提高性能，从而适用于隐私意识的语言模型自适应，因为不会直接使用用户数据进行训练。特别是，当多个设备的软标签通过可信的第三方进行聚合时，我们可以期望非常强的隐私保护。

Aug, 2016

本文提出了两种优化神经网络语言模型适应新数据的方法，包括在重新采样数据上进行继续训练或插入适应性层。在 CAT 环境中应用于 SMT 系统中，这两种方法均取得了显著的改进。

Dec, 2014

本论文调查了循环神经网络语言模型（RNNLMs）的规模特性，对在 GPU 上训练非常大的 RNN 的方法进行了讨论，并探讨了有关模型大小、训练集大小、计算成本和内存方面的扩展性问题。研究结果展现出虽然训练成本更高，但相比于 N 元模型，RNNLMs 在标准测试中得到了更低的困惑度。此外，我们训练了目前已知的最大 RNN，并在 ASR 任务上表现出 18% 的相对词误差率提升，在最近发布的十亿字语言建模基准测试中呈现出新的最低困惑度、机器翻译的 1 BLEU 点表现提升以及词预测方面的 17% 相对命中率提高。

Feb, 2015

本文考虑了针对循环神经网络的多种压缩技术，特别关注大词汇量带来的高维输出问题，探讨剪枝、量化和矩阵分解在语言模型中的有效压缩方法，以及大小、适用性和困惑度的取舍，最终提出一种压缩循环神经网络的通用流程，并使用 Penn Treebank 数据集展示了矩阵分解技术在速度和压缩 - 困惑度平衡方面的最佳结果。

Feb, 2019

论文提出了一种简单且有效的迁移学习方法，通过将任务特定的优化函数与辅助的预训练语言模型目标结合，在保留语言模型捕捉的语言规律的同时，能够进行足够的适应目标任务的训练。实验结果表明，该方法在多种具有挑战性的情感和文本分类任务中，超越了现有水平更为复杂的迁移学习方法。

Feb, 2019

使用深度神经网络作为教师模型，通过知识迁移学习的方法，成功地训练了长短时记忆神经网络，以在自动语音识别任务中表现良好。

May, 2015

本文介绍了一种用于解决长期依赖的神经网络结构 —— 循环神经网络，并通过对语言建模等实验得出其同 LSTM 网络有着类似的性能表现。

Dec, 2014

本文研究了递归神经网络在大规模语言建模中的最新进展和应用，对语料库和词汇量的大小和语言的复杂性和长期结构等问题进行了探讨，并在 One Billion Word Benchmark 上进行了详尽的研究，最佳单一模型将习惯度从 51.3 降低到 30.0，而模型集成则创下了 41.0 到 23.7 的新纪录，在总结中，研究结果可供自然语言处理和机器学习界进一步研究和提高。

Feb, 2016

研究连续在线学习在递归神经网络语言模型中的扩展，通过每次预测后自适应地调整当前文本单元的矢量表示，实现提高语言建模精度并减少模型存储所需的计算参数。

Aug, 2015

本研究介绍了一种基于卷积神经网络的语言模型，适用于统计语言建模任务，在图像字幕生成中表现出竞争性能。相比以前的模型，它使用所有先前的单词进行训练，可以模拟历史单词的长期依赖性，这对图像字幕生成至关重要。该方法在 MS COCO 和 Flickr30K 两个数据集上进行了验证，实验结果显示，相较于基于循环神经网络的语言模型表现更佳，且具有竞争性的最先进技术。

Dec, 2016