该研究采用基于 LRD 理论的可靠估计程序，针对含有百万条数据的符号序列数据集测量了 LRD，并表明 LRD 更好地指导 RNN 的建模，这为新的设计提供了灵感，从而实现了在语言理解和顺序推荐领域的最新成果，计算成本只是很小的一部分。
May, 2019
提出了一种名为长表达记忆（LEM）的新方法，用于学习长期顺序依赖关系，它可以通过梯度进行高效处理并且具有足够的表达能力，能够学习复杂的输入输出映射，通过实验验证了 LEM 在图像分类、时间序列分类、语音识别、语言建模等任务中的优越性。
Oct, 2021
研究利用基于分布估计器的递归神经网络的概率模型来建模多声部音乐的问题，可以提高多声部转录的准确性。
Jun, 2012
本文介绍了长期记忆网络 (LTM) 以解决自然语言理解模型在处理长的序列文本时出现的问题。通过在语言建模任务上进行测试，我们发现 LTM 能够学习到无限长的序列信息，并与其他需要长时间记忆的语言模型进行比较。
May, 2023
提出了一种基于深度学习和 LSTM（长短时记忆）架构的软件代码语言模型，能够有效地学习软件代码中的长时相关性，实验结果显示其有效性。这项工作为构建 DeepSoft，一种端到端，通用的深度学习框架，促进了软件及其开发过程的建模。
Aug, 2016
本研究通过利用多层网络中的独立递归模块，提出了一种可行的高性能在线学习算法，能够有效地解决递归神经网络中长期信用分配的问题，并通过在合成记忆问题和长距离竞技场基准测试中的表现明确了该算法的有效性，为大脑学习和神经计算提供了新的思路。
本文提出了一种新的多跨度架构，通过一种新的循环长短期上下文（LSRC）网络，显式地模拟本地（短期）和全局（长期）上下文，分别模拟短期和长期的上下文信息，用于语言模型任务。
Aug, 2017
本篇论文通过使用 “Strictly k-Piecewise languages” 生成不同属性的数据集，并计算使用互信息方法得到的长距离依赖的特征，分析了多种因素（如 k，长距离依赖的长度，词汇量，禁止的子序列和数据集大小），发现交互元素的数量是长距离依赖的重要特征，导致了在建模多元素长距离依赖时遇到的挑战，并建议使用神经网络中的注意力机制来进行建模，同时需要发展更高效的注意力机制以解决这个问题。
Jul, 2019
我们设计了一种新的深度学习网络架构 DBN-BLSTM，该网络结合了深度信号表示和时间信息，加强了序列数据的建模，在音乐生成任务中表现出最优性能。
Dec, 2014
本文通过对两种循环神经网络的实验研究，证明了正则正负推理算法是深度神经网络能否表示和学习时间序列中的长期依赖的可靠工具。此外，本文发现在同种实验中简单循环神经网络在最难的实验中表现出色，长短时记忆网络的表现总体上比简单循环神经网络差。
May, 2017