本研究提出使用连续向量表示语言的方法，可以用于多语言自然语言处理，实验结果表明这种方法可以有效捕捉不同语言种类之间的遗传关系。
Dec, 2016
本文研究了递归神经网络在大规模语言建模中的最新进展和应用，对语料库和词汇量的大小和语言的复杂性和长期结构等问题进行了探讨，并在 One Billion Word Benchmark 上进行了详尽的研究，最佳单一模型将习惯度从 51.3 降低到 30.0，而模型集成则创下了 41.0 到 23.7 的新纪录，在总结中，研究结果可供自然语言处理和机器学习界进一步研究和提高。
Feb, 2016
该研究提出了一种有效的迁移学习方法，使用具有长短期记忆体系结构的循环神经网络对个性化语言模型进行训练。通过实验证明，我们的迁移学习方法成功生成了个性化语言模型，并在定量和定性方面表现出更接近个人语言风格的输出，尤其适用于移动设备环境以保护数据隐私。
Jan, 2017
本文提出了一个实验设置，以实现对单个任务的自动语音识别进行在线持续学习。 通过使用在线梯度附着内存方法对端到端语音识别模型进行增量模型更新，并结合有选择性的采样策略进行在线持续学习，可以保持类似于重新训练模型的准确性，同时需要较低的计算成本。作者也使用了自监督学习功能（SSL）特征进行了验证。
Jul, 2022
本文提出了一种称为 OML 的目标，其直接最小化灾难性干扰，通过学习在持续学习的在线更新过程中加速未来学习和对遗忘有弹性的表示，我们表明可以学习到更有效的在线更新的自然稀疏表示，并且该算法是现有持续学习策略，如 MER 和 GEM 的有效补充，最后，我们证明了通过 OML 学习的基本在线更新策略与基于重演的持续学习方法具有相同的竞争力。
May, 2019
本研究提出了一个层次化的多尺度语言模型，通过在线元学习方式，使用一个上层模型更新低层模型的权重来编码短时间尺度和长时间尺度的依赖关系，并使用弹性权重一致性作为高层次来防止灾难性遗忘。
May, 2018
通过将递归神经网络语言模型连接到概率有限状态自动机，我们重新审视了递归神经网络语言模型的表征能力，并证明具有线性边界精度的递归神经网络语言模型可以表示任意的正则语言模型。
May, 2024
该研究提出一种基于循环语言建模的神经模型，通过考虑作者和时间向量状态来捕捉作者社区的语言扩散趋势，从而超越了多个基于时间和非时间的语言基线，并学习了随时间变化的有意义的作者表示。
Sep, 2019
本研究介绍了一种基于卷积神经网络的语言模型，适用于统计语言建模任务，在图像字幕生成中表现出竞争性能。相比以前的模型，它使用所有先前的单词进行训练，可以模拟历史单词的长期依赖性，这对图像字幕生成至关重要。该方法在 MS COCO 和 Flickr30K 两个数据集上进行了验证，实验结果显示，相较于基于循环神经网络的语言模型表现更佳，且具有竞争性的最先进技术。
本研究通过利用多层网络中的独立递归模块，提出了一种可行的高性能在线学习算法，能够有效地解决递归神经网络中长期信用分配的问题，并通过在合成记忆问题和长距离竞技场基准测试中的表现明确了该算法的有效性，为大脑学习和神经计算提供了新的思路。
May, 2023