本文介绍了一种非常简单的门控循环神经网络，其在基于单词的语言建模任务上实现了与 LSTM 和 GRU 等著名门控架构相媲美的性能且证明了该模型具有简单、可预测和非混沌的动力学，这与传统的门控架构形成了鲜明对比。

Dec, 2016

本文对循环神经网络的基本原理、最新进展和研究挑战进行了说明，介绍了针对学习长期依赖问题的新进展，适合该领域的新手和专业人士。

Dec, 2017

本文研究了循环神经网络在数据驱动下的噪声动力学系统模拟行为，训练了一组 LSTM 网络，发现在训练噪声变大时，LSTM 更多地依赖其自主动力学而不是噪声输入数据。

Apr, 2019

本文对于近三十年来产生和实践了重要的循环神经网络（RNN），LSTM 和 BRNN 等模型的研究进行综述，旨在提供一个自成体系的最前沿阐述和历史视角，并引用了相关研究文献。

May, 2015

使用基于数据驱动的长短时记忆（LSTM）循环神经网络的预测方法，展示了该方法在高维混沌系统中的定量预测效果，并提出了一种新的具有混合结构的 LSTM 神经网络。与高斯过程相比，LSTM 在所有应用中都表现出更好的短期预测准确性，并且 MSM-LSTM 可以保证收敛到不变措施。

Feb, 2018

本文提出采用连续时间动力学系统的视角看待循环神经网络（RNNs），并提出了一种描写隐藏状态演变的循环单元，该单元包含一个经过深思熟虑的线性组成部分和一个 Lipschitz 非线性组成部分来促进该单元的长期稳定性分析；并通过实验表明，Lipschitz RNN 在计算机视觉、语言建模和语音预测任务中的表现优于现有的循环单元；通过利用 Hessian 的分析证明我们的 Lipschitz 循环单元相对于其他连续时间 RNN 对输入和参数扰动更具稳健性。

Jun, 2020

本文研究了神经网络在对正常与混沌时间序列进行分类训练时的内在机制，并提出了一种新型网络架构 —— 大核卷积神经网络（LKCNN），比传统的一些网络架构更加高效。针对低精度的神经网络分类问题，提出了一种使用输入周期性和激活周期性的新颖方法，使得分类结果的准确率得到提高。

Jun, 2023

使用字符级语言模型作为可解释的测试平台，本研究分析了 LSTM 的表示、预测和错误类型，并揭示了其提高性能的长程结构依赖性的来源。

Jun, 2015

通过使用一种被称为状态规范化的机制来处理以前递归神经网络（RNNs）的不足，从而提高 RNNs 的状态转移动态分析和解释性，并将其应用于自动机抽取，自然语言处理和计算机视觉中。

Jan, 2019

本研究论文介绍了递归神经网络 (RNN)、 长短期记忆网络 (LSTM) 及其变体，在训练过程中解决长序列中的梯度消失 / 爆炸问题，并详细介绍了 LSTM 中的门控单元，双向 RNN 及 Embeddings from Language Model (ELMo) network 的原理。

Apr, 2023