Oct, 2020

耦合振荡循环神经网络（coRNN）：一种用于学习长时依赖的准确且 (梯度) 稳定的结构

PDF
TL;DR本文中提出基于神经振荡器非线性控制网络的二阶常微分方程模型时间离散化的递归神经网络，证明其对于隐藏状态的梯度具有精确的上限，解决了梯度问题，实验证明该递归神经网络在处理复杂的时序数据上具有稳定和准确的性能，达到了现有技术水平。
neural oscillatorsrecurrent neural networksgradient problemcomplex sequential dataperformance
发现论文，激发创造
  • UnICORNN: 用于学习非常长时间依赖关系的循环模型

    本文提出了一种基于哈密顿系统的离散化的循环神经网络架构，解决长时依赖序列输入处理的梯度消失和爆炸问题，实验表明该方法在各种学习任务中提供了最先进的性能。

    Mar, 2021

  • 磁滞建模的神经振荡器

    通过开发基于普通微分方程的递归神经网络 (RNN) 方法来建模和量化滞后现象，这一研究突出了神经振荡器相对于传统 RNN 方法在捕捉磁性材料中复杂滞后模式方面的优势。

    Aug, 2023

  • 连续时间循环神经网络：概览及其在重症监护中预测血糖方面的应用

    本文介绍了在不规则测量环境中，利用神经普通微分方程或神经流层来提高自回归递归神经网络性能的不同 CTRNN 体系结构，研究表明，在血糖概率预测方面，只有 LSTM 和 ODE-LSTM 体系结构与渐进提升树模型具有相当的性能。

    Apr, 2023

  • 机械式 RNN

    本文介绍了简单而强大的时钟 RNN 的修改方法，该方法将隐藏层分成单独的模块，在其自己的时间粒度上处理输入，并且在测试的任务中改善了性能，速度快于标准的 RNN 模型，优于 RNN 和 LSTM 网络，出色地完成了声音信号生成和 TIMIT 口语识别任务。

    Feb, 2014

  • 循环神经网络在序列学习中的关键评估

    本文对于近三十年来产生和实践了重要的循环神经网络（RNN），LSTM 和 BRNN 等模型的研究进行综述，旨在提供一个自成体系的最前沿阐述和历史视角，并引用了相关研究文献。

    May, 2015

  • 学习非规则采样时间序列中的长期依赖

    我们提出了一种基于长短期记忆机制的算法来解决非均匀采样数据上具有长期依赖性的序列建模问题，其核心是将记忆从时间连续状态中分离出来，形成了一种新的 ODE-LSTM 模型。实验证明，该模型在非均匀采样数据的长期依赖建模上优于基于其他递归神经网络的模型。

    Jun, 2020

  • 图耦合振荡器网络

    提出了一种名为 Graph-Coupled Oscillator Networks（GraphCON）的新型用于图上深度学习的框架，该框架基于二阶常微分方程（ODEs）的离散化模型，模拟了通过底层图的邻接结构耦合的非线性控制和阻尼振荡器网络，并且解决了过度平滑问题和梯度消失问题。

    Feb, 2022

  • 循环神经网络的最近进展

    本文对循环神经网络的基本原理、最新进展和研究挑战进行了说明，介绍了针对学习长期依赖问题的新进展，适合该领域的新手和专业人士。

    Dec, 2017

  • 深度振动神经网络

    我们提出了一种新颖的、受大脑启发的深度神经网络模型，称为深层振荡神经网络 (DONN)。DONN 具有振荡内部动态，可以在信号和图像 / 视频处理的多个基准问题上提供与已发表结果相当或更好的性能。

    May, 2024

  • 循环控制循环网络

    该文提出了一种递归控制递归网络 (RCRN) 架构，利用递归网络学习递归门控函数，将其用于不同自然语言处理任务，结果表明 RCRN 在比双向 LSTM 和双向 LSTM 堆叠表现更好，具有代替双向 LSTM 堆叠的潜力。

    Nov, 2018