ICLRMar, 2023

通过活性和参数的稀疏组合实现高效实时递归学习

PDF
TL;DR本文提出，对于循环网络，高效的实时递归学习可以通过结合活动稀疏性和参数稀疏性得到显着的计算和存储成本节省，无需使用任何近似来学习过程。
backpropagation through timerecurrent neural networksreal-time recurrent learningactivity sparsityparameter sparsity
发现论文，激发创造
  • 利用稀疏连接和选择性学习的在线实时递归学习

    这篇论文介绍了一种基于循环神经网络的状态构建方法，提出了能够让实时递归学习可扩展的两个约束条件，并在基准测试和政策评估中证明了其有效性。

    Jan, 2023

  • 探索实时循环学习的优缺点

    本文研究了将实时递归学习和策略梯度相结合的演员 - 评论员方法在 DMLab、ProcGen 和 Atari-2600 环境中的应用，结果表明，在 DMLab 记忆任务中，我们的系统相比于训练了 10 B 帧的 IMPALA 和 R2D2 基线的系统，只需训练不到 1.2 B 个环境帧就能够达到很好的性能表现。

    May, 2023

  • 通过活动稀疏性和时间上的稀疏反向传播实现高效的循环神经网络结构

    通过实现神经元活动的动态稀疏化，提出了一种基于门控循环单元（GRU）并适用于新颖的节能神经形态硬件的递归神经网络（RNN）的通信稀疏离散化解决方案。该模型在不影响任务性能的前提下实现了高效，与现有最先进的循环神经网络模型在语言建模等实际任务中表现同样出色。

    Jun, 2022

  • 实时循环强化学习

    我们提出了一种新颖的强化学习算法，名为实时循环强化学习 (RTRRL)，通过利用随机反馈局部在线学习 (RFLO) 近似实时递归学习 (RTRL) 来计算循环神经网络参数的梯度，并结合具有资格迹的时序差分强化学习 (TD (λ))，能在部分可观测马尔可夫决策过程 (POMDPs) 中解决离散和连续控制任务，达到生物可行并超越了传统的时间反向传播算法 (BPTT)。该方法模拟哺乳动物大脑奖励途径的生物神经网络进行学习。

    Nov, 2023

  • 高效使用内存的时间反向传播

    我们提出了一种新方法来降低通过时间反向传播算法在培训循环神经网络时的内存消耗，这种方法使用动态规划来平衡中间结果的缓存和重新计算之间的折衷，并最小化计算成本。

    Jun, 2016

  • 低通递归神经网络 - 一种用于发现更长期的相关性的记忆体系结构

    本文提出了一种使用简单且有效的记忆策略来扩展反向传播时间的窗口而不需要更长跟踪的方法，并在一些任务中进行了实证探讨。

    May, 2018

  • 一种实用的稀疏逼近算法用于实时循环学习

    介绍了 Sparse n-step Approximation (SnAp) 来优化 Real Time Recurrent Learning (RTRL) 的影响矩阵，在保持计算成本低的同时提高了网络的学习速度，特别是在稀疏网络时，n=2 时的 SnAp 能够优于 backpropagation in terms of learning speed when updates are done online。

    Jun, 2020

  • 基于扰动的递归神经网络学习

    本研究针对循环神经网络提出了一种基于扰动学习的新方法，通过在时间域内进行节点扰动，实现与反向传播方法相媲美的性能，具有超越梯度方法的优势，证明了扰动学习方法是训练循环神经网络的一种多功能替代方案。

    May, 2024

  • 使用随机克罗内克因子逼近实时循环学习

    本文提出了一种使用 Kronecker 分解逼近梯度的 KF-RTRL 算法，通过在一个合理的假设下，理论分析表明，引入的噪音稳定，且渐近比 UORO 算法小，对于一类大的 RNNs，KF-RTRL 是一个无偏差和内存高效的在线学习算法，实验结果表明 KF-RTRL 算法可用于学习长期依赖性的任务上，并在一些任务上与 TBPTT 算法性能相当，提出了基于 RTRL 的方法可能是 TBPTT 的有前途的替代方法。

    May, 2018

  • 长时依赖网络的时间反向传播

    本文介绍一种称为离散前向灵敏度方程和其变体的反向传播方法，该方法准确而且允许网络参数在每个后续步骤之间变化，但需要计算 Jacobian 矩阵，以适应现今人工神经网络的长期依赖关系的发展趋势。

    Mar, 2021