Jun, 2020

一种实用的稀疏逼近算法用于实时循环学习

PDF
TL;DR介绍了 Sparse n-step Approximation (SnAp) 来优化 Real Time Recurrent Learning (RTRL) 的影响矩阵，在保持计算成本低的同时提高了网络的学习速度，特别是在稀疏网络时，n=2 时的 SnAp 能够优于 backpropagation in terms of learning speed when updates are done online。
发现论文，激发创造
  • 利用稀疏连接和选择性学习的在线实时递归学习

    这篇论文介绍了一种基于循环神经网络的状态构建方法，提出了能够让实时递归学习可扩展的两个约束条件，并在基准测试和政策评估中证明了其有效性。

    Jan, 2023

  • 通过活性和参数的稀疏组合实现高效实时递归学习

    本文提出，对于循环网络，高效的实时递归学习可以通过结合活动稀疏性和参数稀疏性得到显着的计算和存储成本节省，无需使用任何近似来学习过程。

    Mar, 2023

  • 实时递归学习的最优 Kronecker-Sum 逼近

    研究 RNN 的训练方法，提出新的 RTRL 逼近算法 OK-Kronecker-Sum 并证明其优秀性能，经实验验证 OK- Kronecker-Sum 能够在真实世界任务中匹配 TBPTT，在合成字符串记忆任务中优于 TBPTTs。

    Feb, 2019

  • 探索实时循环学习的优缺点

    本文研究了将实时递归学习和策略梯度相结合的演员 - 评论员方法在 DMLab、ProcGen 和 Atari-2600 环境中的应用，结果表明，在 DMLab 记忆任务中，我们的系统相比于训练了 10 B 帧的 IMPALA 和 R2D2 基线的系统，只需训练不到 1.2 B 个环境帧就能够达到很好的性能表现。

    May, 2023

  • 使用随机克罗内克因子逼近实时循环学习

    本文提出了一种使用 Kronecker 分解逼近梯度的 KF-RTRL 算法，通过在一个合理的假设下，理论分析表明，引入的噪音稳定，且渐近比 UORO 算法小，对于一类大的 RNNs，KF-RTRL 是一个无偏差和内存高效的在线学习算法，实验结果表明 KF-RTRL 算法可用于学习长期依赖性的任务上，并在一些任务上与 TBPTT 算法性能相当，提出了基于 RTRL 的方法可能是 TBPTT 的有前途的替代方法。

    May, 2018

  • 基于生物学启发的循环神经网络学习的反向传播时序算法替代方案

    通过实时与合适的自上而下学习信号合并本地可用信息，为循环神经网络提供了高效的学习算法，其中包括了神经形态芯片的在线训练，从而拓宽了大脑中的网络学习理解并在实验中得到了验证。

    Jan, 2019

  • 利用对称的时间稀疏 BPTT 提高 RNN 训练效率

    Delta RNN 利用时间稀疏性在推理过程中跳过被禁用神经元的隐藏状态更新，其训练算法在反向传播阶段利用时间稀疏性来减少边缘计算的计算要求。

    Dec, 2023

  • 稀疏持续 RNN：在芯片上压缩大规模循环神经网络

    通过模型修剪和 GPU 优化，我们为稀疏 RNN 设计了一种高效的实现，包括 Lamport 时间戳、宽存储器负载和银行感知权重布局等优化措施，使得在隐藏层大小为 2304，批处理大小为 4，密度为 30% 时，我们的技术可实现超过 6 倍的加速效果，进一步，我们的技术使得大于 5 倍的模型大小可以适应于 GPU 以达到 2 倍的加速效果，最后我们在附录中进行了机器翻译和语音识别任务的案例研究，将循环层加速了最多 3 倍。

    Apr, 2018

  • 实时循环强化学习

    我们提出了一种新颖的强化学习算法，名为实时循环强化学习 (RTRRL)，通过利用随机反馈局部在线学习 (RFLO) 近似实时递归学习 (RTRL) 来计算循环神经网络参数的梯度，并结合具有资格迹的时序差分强化学习 (TD (λ))，能在部分可观测马尔可夫决策过程 (POMDPs) 中解决离散和连续控制任务，达到生物可行并超越了传统的时间反向传播算法 (BPTT)。该方法模拟哺乳动物大脑奖励途径的生物神经网络进行学习。

    Nov, 2023

  • 从贝叶斯稀疏到门控循环神经网络

    本文指出，关于促进稀疏性的更强大的贝叶斯算法具有类似于长短期记忆 (LSTM) 网络或先前设计用于序列预测的替代门控反馈网络的结构，从而导致了一种新的稀疏估计系统，当授予训练数据时，可以在其他算法失败的方案中高效地估计最优解，包括在实际方向 - 到达 (DOA) 和三维几何恢复问题中。

    Jun, 2017