May, 2023

探索实时循环学习的优缺点

PDF
TL;DR本文研究了将实时递归学习和策略梯度相结合的演员 - 评论员方法在 DMLab、ProcGen 和 Atari-2600 环境中的应用，结果表明，在 DMLab 记忆任务中，我们的系统相比于训练了 10 B 帧的 IMPALA 和 R2D2 基线的系统，只需训练不到 1.2 B 个环境帧就能够达到很好的性能表现。
real-time recurrent learningsequence-processing recurrent neural networksactor-critic methodspolicy gradientsdmlab
发现论文，激发创造
  • 实时循环强化学习

    我们提出了一种新颖的强化学习算法，名为实时循环强化学习 (RTRRL)，通过利用随机反馈局部在线学习 (RFLO) 近似实时递归学习 (RTRL) 来计算循环神经网络参数的梯度，并结合具有资格迹的时序差分强化学习 (TD (λ))，能在部分可观测马尔可夫决策过程 (POMDPs) 中解决离散和连续控制任务，达到生物可行并超越了传统的时间反向传播算法 (BPTT)。该方法模拟哺乳动物大脑奖励途径的生物神经网络进行学习。

    Nov, 2023

  • 利用稀疏连接和选择性学习的在线实时递归学习

    这篇论文介绍了一种基于循环神经网络的状态构建方法，提出了能够让实时递归学习可扩展的两个约束条件，并在基准测试和政策评估中证明了其有效性。

    Jan, 2023

  • 通过活性和参数的稀疏组合实现高效实时递归学习

    本文提出，对于循环网络，高效的实时递归学习可以通过结合活动稀疏性和参数稀疏性得到显着的计算和存储成本节省，无需使用任何近似来学习过程。

    Mar, 2023

  • 实时递归学习的最优 Kronecker-Sum 逼近

    研究 RNN 的训练方法，提出新的 RTRL 逼近算法 OK-Kronecker-Sum 并证明其优秀性能，经实验验证 OK- Kronecker-Sum 能够在真实世界任务中匹配 TBPTT，在合成字符串记忆任务中优于 TBPTTs。

    Feb, 2019

  • 使用随机克罗内克因子逼近实时循环学习

    本文提出了一种使用 Kronecker 分解逼近梯度的 KF-RTRL 算法，通过在一个合理的假设下，理论分析表明，引入的噪音稳定，且渐近比 UORO 算法小，对于一类大的 RNNs，KF-RTRL 是一个无偏差和内存高效的在线学习算法，实验结果表明 KF-RTRL 算法可用于学习长期依赖性的任务上，并在一些任务上与 TBPTT 算法性能相当，提出了基于 RTRL 的方法可能是 TBPTT 的有前途的替代方法。

    May, 2018

  • 使用多层读出的水库计算深度 Q 网络

    这篇论文提出了一种引入储备计算的重放记忆方法，在这种方法中，使用多层神经网络作为读出层可以提高基于递归神经网络的强化学习在四种控制任务中的学习性能。

    Mar, 2022

  • 低通递归神经网络 - 一种用于发现更长期的相关性的记忆体系结构

    本文提出了一种使用简单且有效的记忆策略来扩展反向传播时间的窗口而不需要更长跟踪的方法，并在一些任务中进行了实证探讨。

    May, 2018

  • 一种实用的稀疏逼近算法用于实时循环学习

    介绍了 Sparse n-step Approximation (SnAp) 来优化 Real Time Recurrent Learning (RTRL) 的影响矩阵，在保持计算成本低的同时提高了网络的学习速度，特别是在稀疏网络时，n=2 时的 SnAp 能够优于 backpropagation in terms of learning speed when updates are done online。

    Jun, 2020

  • 循环神经网络在序列学习中的关键评估

    本文对于近三十年来产生和实践了重要的循环神经网络（RNN），LSTM 和 BRNN 等模型的研究进行综述，旨在提供一个自成体系的最前沿阐述和历史视角，并引用了相关研究文献。

    May, 2015

  • 高效使用内存的时间反向传播

    我们提出了一种新方法来降低通过时间反向传播算法在培训循环神经网络时的内存消耗，这种方法使用动态规划来平衡中间结果的缓存和重新计算之间的折衷，并最小化计算成本。

    Jun, 2016