提出一种普遍的贝叶斯学习框架，利用三种方法模拟 LSTM-RNN 和 Transformer LMs 的模型参数、神经激活选择和隐藏输出表示的不确定性，使用神经结构搜索自动选择优化网络内部组件，并使用有效的推断方法来降低计算成本，并在 AMI 会议转录和 LRS2 超叠话音频道的语音识别任务中实验验证，相对于基线 LSTM-RNN 和 Transformer LMs，在困惑度和字错误率方面均取得了一致的性能提升。

Aug, 2022

本文提出了一种新的循环神经网络体系结构 Recurrent Memory Network（RMN），不仅能够放大循环神经网络的作用，而且有助于我们理解其内部功能并发现数据中的潜在模式。在语言建模和句子完成任务上展示了 RMN 的强大性能。在长句完成挑战中，RMN 的准确性为 69.2％，超过了以前的最新技术水平。

Jan, 2016

通过使用线性联想单元，我们提出了一种新的方法来降低深层 NMT 系统中的梯度扩散问题，在中英翻译任务上表现显著，能够提高 11.7 BLEU.

May, 2017

通过将转换器模型重新构建为 RNN 模块，我们提出了 LMUFormer，它在保留顺序处理能力的同时，能够将性能推向转换器模型，并通过引入状态来减少计算复杂性。在多个序列数据集上评估后，我们的 LMUFormer 表现可与 SOTA 基于转换器的模型相媲美，并减少了 53 倍的参数和 65 倍的 FLOPs。此外，我们的模型在实时数据处理方面表现出色，能够减少 32.03％的序列长度，而性能几乎不受影响。

Jan, 2024

本文提出一个名为简单循环 NMT 的新的循环神经网络机器翻译体系结构，该体系结构基于一类快速且弱循环单元，使用层归一化和多个注意力机制。在 WMT14 英德和 WMT16 英罗曼尼亚基准上的实验表明，我们的模型作为 LSTMs 的有效替代品，可以在显著降低计算成本的情况下实现更好的结果。

May, 2018

该技术报告描述了使用 MNIST 和 UW3 数据库对 LSTM 网络进行基准测试的结果，并探讨了不同架构和超参数选择对性能的影响。该研究表明：（1）LSTM 性能平滑地取决于学习率，（2）批处理和动量对性能没有显着影响，（3）softmax 训练优于最小二乘训练，（4）孔径单元无用，（5）标准非线性函数（tanh 和 sigmoid）性能最佳，（6）将双向训练与 CTC 相结合比其他方法表现更好。

Aug, 2015

本论文介绍了一种名为平行 LSTM 的 RNN 模型，可以并行处理多个同步输入序列以预测共同输出。在自动电视节目分类任务上的实验表明，该方法优于基线 n-gram 模型和最先进的 LSTM 方法。

Feb, 2017

本文介绍了一种基于 FiLM 模型的深度学习算法，该算法使用 Legendre 多项式投影来近似历史信息，使用傅里叶投影来去除噪声，并且增加了一个低秩逼近来加速计算，实验结果表明这种算法大大提高了多元和单一长期预测的准确性，并且该方法可以作为一种普适的插件应用于深度学习中其他模块中以提高长期预测性能。

May, 2022

该研究论文描述了使用线性顺序依赖关系的 RNN 可以使用并行扫描算法在序列长度上进行并行化训练，通过开发并行线性递归 CUDA 内核，加速多种最先进的 RNN 架构的训练和推理，扩展序列学习到以前无法触及的极长序列区域并成功训练 GILR-LSTM 进行一百万时间步长的合成序列分类任务。

Sep, 2017

提出了一种新颖的延迟记忆单元（DMU），通过引入延迟线结构和延迟门，来增强普通 RNN 的时间建模能力，以解决梯度消失和梯度爆炸等问题，并在语音识别、雷达手势识别、心电波形分割和串联顺序图像分类等应用中展示出优越的时间建模能力。

Oct, 2023