ICLRFeb, 2019

AntisymmetricRNN: 循环神经网络的动力系统视角

PDF
TL;DR本文提出了一种特殊的循环神经网络 AntisymmetricRNN，它通过稳定性方程来捕获长期依赖关系，相较于常规 LSTM 模型，AntisymmetricRNN 在长期依赖问题上表现更好，且结构更简单。
recurrent neural networkslong-term dependenciesordinary differential equationsantisymmetricrnnlstm
发现论文，激发创造
  • UnICORNN: 用于学习非常长时间依赖关系的循环模型

    本文提出了一种基于哈密顿系统的离散化的循环神经网络架构，解决长时依赖序列输入处理的梯度消失和爆炸问题，实验表明该方法在各种学习任务中提供了最先进的性能。

    Mar, 2021

  • 循环神经网络的最近进展

    本文对循环神经网络的基本原理、最新进展和研究挑战进行了说明，介绍了针对学习长期依赖问题的新进展，适合该领域的新手和专业人士。

    Dec, 2017

  • 情绪分类的循环网络反向工程揭示了线吸引子动力学

    本文利用动态系统分析工具来反向工程文本情感分类的循环神经网络，证明训练过的循环神经网络可以收敛到高度可解释、低维表示的固定点，并揭示循环神经网络内部存在近似线吸引子的机制以量化的方式解释循环神经网络完成情感分析任务的过程。此外，该机制在多个数据集和不同架构下仍然存在，呈现出令人惊讶的通用性和可解释性。

    Jun, 2019

  • 循环神经网络合成用于动态系统模拟

    论文介绍了一种基于早期理论结果的算法，该算法基于反向传播和矩阵操作，可以训练前馈神经网络来近似动态系统，并将其转换为递归网络，以模拟原始系统的动态行为。

    Dec, 2015

  • 学习非规则采样时间序列中的长期依赖

    我们提出了一种基于长短期记忆机制的算法来解决非均匀采样数据上具有长期依赖性的序列建模问题，其核心是将记忆从时间连续状态中分离出来，形成了一种新的 ODE-LSTM 模型。实验证明，该模型在非均匀采样数据的长期依赖建模上优于基于其他递归神经网络的模型。

    Jun, 2020

  • 耦合振荡循环神经网络（coRNN）：一种用于学习长时依赖的准确且 (梯度) 稳定的结构

    本文中提出基于神经振荡器非线性控制网络的二阶常微分方程模型时间离散化的递归神经网络，证明其对于隐藏状态的梯度具有精确的上限，解决了梯度问题，实验证明该递归神经网络在处理复杂的时序数据上具有稳定和准确的性能，达到了现有技术水平。

    Oct, 2020

  • 循环神经网络在序列学习中的关键评估

    本文对于近三十年来产生和实践了重要的循环神经网络（RNN），LSTM 和 BRNN 等模型的研究进行综述，旨在提供一个自成体系的最前沿阐述和历史视角，并引用了相关研究文献。

    May, 2015

  • 循环神经网络有多混沌？

    通过系统实证分析，本文发现在文本生成等实际应用场景下，基本的 RNN 或 LSTM RNN 的训练过程中不会表现出混沌行为，这一发现说明未来的研究应该将方向放在非线性动力学的另一个方面上。

    Apr, 2020

  • 学习具有时间感知行为的循环神经网络动态

    本文利用定时自动机来介绍一系列监督学习任务，建立在隐藏时间变量和复杂性直接可控的行为模型基础上，通过研究倒置的时间特征，证明基于动态系统理论的工具可以不仅提供模型学习方案的见解而且能够证明训练过程的动力学。

    Jun, 2023

  • Independently Recurrent Neural Network (IndRNN): 构建更长更深的循环神经网络

    本文介绍了一种称为 Independently Recurrent Neural Network 的新型递归神经网络，其具有分层连接、神经元不相互依赖以及可适用于非饱和激活函数等特点，实验结果表明该网络较传统的递归神经网络、长短时记忆网络在多种任务上表现更好。

    Mar, 2018