状态规则化递归神经网络

ICMLJan, 2019

State-Regularized Recurrent Neural Networks

Cheng Wang, Mathias Niepert

TL;DR通过使用一种被称为状态规范化的机制来处理以前递归神经网络（RNNs）的不足，从而提高 RNNs 的状态转移动态分析和解释性，并将其应用于自动机抽取，自然语言处理和计算机视觉中。

Abstract

recurrent neural networks are a widely used class of neural architectures. They have, however, two shortcomings. First, it is difficult to understand what exactly they learn. Second, they tend to work poorly on sequences requiring long-term memorization, despite having this capacity in

recurrent neural networks state-regularization external memory automata extraction interpretability

发现论文，激发创造

循环神经网络在序列学习中的关键评估

本文对于近三十年来产生和实践了重要的循环神经网络（RNN），LSTM 和 BRNN 等模型的研究进行综述，旨在提供一个自成体系的最前沿阐述和历史视角，并引用了相关研究文献。

May, 2015

循环神经语言模型作为概率有限状态自动机

本文研究了 RNN 语言模型对概率分布的表示能力，发现简单的 RNN 等效于概率有限状态自动机，能够表示有限状态模型可表达的概率分布的严格子集，同时研究了用 RNN 表示确定性有限状态语言模型的空间复杂度。这些结果对于了解 RNN 语言模型的能力和限制具有重要意义。

Oct, 2023

重新审视激活正则化对于语言循环神经网络的影响

本文通过使用传统正则化技术 L2 规则化和缓慢规则化来提高 RNN 对于语言建模任务的性能，而这两种技术只需要对现有 RNN 架构进行最小修改，即可获得与复杂正则化技术或自定义单元结构相媲美或更好的性能表现，并且这些技术可以在现有的优化 LSTM 实现上无需进行任何修改。

Aug, 2017

循环神经网络正则化

该研究介绍了一种简单的正则化技术，在循环神经网络 (RNNs) 与长短期记忆 (LSTM) 单元上应用 Dropout 可以减少不同任务中的过度拟合，包括语言建模、语音识别、图像字幕生成和机器翻译等。

Sep, 2014

循环神经网络的最近进展

本文对循环神经网络的基本原理、最新进展和研究挑战进行了说明，介绍了针对学习长期依赖问题的新进展，适合该领域的新手和专业人士。

Dec, 2017

循环神经网络中学习更长记忆

本文介绍了一种用于解决长期依赖的神经网络结构 —— 循环神经网络，并通过对语言建模等实验得出其同 LSTM 网络有着类似的性能表现。

Dec, 2014

表达形式语言：有限自动机与循环神经网络的比较

通过训练循环神经网络（RNN）来学习识别正则形式语言时使用的内部表示，我们研究了一个简单的解码函数，其将该 RNN 的状态映射到该语言的最小确定性有限自动机（MDFA）的状态，进而探讨了 RNN 内部表示与有限状态自动机之间的强结构关系，解释了 RNN 识别正式语法结构的能力。

Feb, 2019

作为心理语言学对象的 RNNs：句法状态和语法依存关系

本研究探讨递归神经网络在自然语言处理中的应用情况，研究发现虽然这种网络可以实现递增的句法状态，但是并不总是像人类那样进行泛化，并且没有学习到合适的语法依赖配置。

Sep, 2018

循环神经网络有多混沌？

通过系统实证分析，本文发现在文本生成等实际应用场景下，基本的 RNN 或 LSTM RNN 的训练过程中不会表现出混沌行为，这一发现说明未来的研究应该将方向放在非线性动力学的另一个方面上。

Apr, 2020

顺序神经网络作为自动机

本研究试图从理论的角度解释神经网络的计算类型，通过将它们与自动机相关联，并使用定义 “实时网络有界精度接受语言” 的方法来解释网络内存度量，对可被各种循环网络、注意力和卷积网络接受的语言类别进行了表征。研究发现 LSTM 功能类似于计数器机，并将卷积网络与子正则层次结构相关联。这些理论洞察力有助于解释神经计算，以及神经网络与自然语言语法之间的关系。

Jun, 2019