Jul, 2019

适用于训练递归神经网络的在线学习算法统一框架

PDF
TL;DR提出了一个关于递归神经网络在线训练的紧凑结构，其中根据多个标准对算法进行组织：过去与未来朝向，张量结构，随机与确定性，以及闭合形式与数值。测试在两个合成任务上的表现表明，表现根据标准聚集。
recurrent neural networksonline trainingalgorithm organizationstochastic vs. deterministicgradient alignment
发现论文，激发创造
  • 训练神经网络的统一框架

    我们提出了一个统一的优化框架，用于训练不同类型的深度神经网络，并在任意损失、激活和正则化函数上建立其收敛性。该框架推广了众所周知的一阶和二阶训练方法，并允许我们展示这些方法在各种深度神经网络架构和学习任务中的收敛性为我们的方法的一种特殊情况。

    May, 2018

  • 循环神经网络合成用于动态系统模拟

    论文介绍了一种基于早期理论结果的算法，该算法基于反向传播和矩阵操作，可以训练前馈神经网络来近似动态系统，并将其转换为递归网络，以模拟原始系统的动态行为。

    Dec, 2015

  • 自动化算法选择：从基于特征到无特征方法

    本文介绍了一种新颖的算法选择技术，其中借助循环神经网络在在线装箱问题中预测打包启发式，表现优于传统机器学习方法，并提出了这种算法的表现好处需要数据具备一定隐式结构的假设。

    Mar, 2022

  • 循环神经网络在序列学习中的关键评估

    本文对于近三十年来产生和实践了重要的循环神经网络（RNN），LSTM 和 BRNN 等模型的研究进行综述，旨在提供一个自成体系的最前沿阐述和历史视角，并引用了相关研究文献。

    May, 2015

  • 在线学习长程依赖关系

    本研究通过利用多层网络中的独立递归模块，提出了一种可行的高性能在线学习算法，能够有效地解决递归神经网络中长期信用分配的问题，并通过在合成记忆问题和长距离竞技场基准测试中的表现明确了该算法的有效性，为大脑学习和神经计算提供了新的思路。

    May, 2023

  • 循环神经网络的最近进展

    本文对循环神经网络的基本原理、最新进展和研究挑战进行了说明，介绍了针对学习长期依赖问题的新进展，适合该领域的新手和专业人士。

    Dec, 2017

  • 使用扩散算法训练循环神经网络

    本文提出了一种新的算法来训练递归神经网络，并将其与随机梯度下降进行了初步比较，结果表明该算法可以在更少的时代内实现与随机梯度下降相似的泛化准确性。该算法来源于与扩散方程相关的非凸优化理论，自然而然地产生了某些看似不相关的深度学习机制。

    Jan, 2016

  • 透過週期性神經網路的增強學習，實現行動層次和組合的自我組織

    该研究提出一种新型的多时间尺度随机循环神经网络用于强化学习，可以自主学习抽象的子目标并自我开发行为层次结构，在挑战性的连续控制任务中确保了比起从头开始训练更快的再学习。同时，研究发现，当神经活动遵循随机动态时，可以实现更好的表现。

    Jan, 2019

  • 激光诱导击穿光谱中循环神经网络和经典机器学习方法的比较

    使用不同的递归神经网络 (RNN) 架构，基于激光诱导加热光谱 (LIBS) 技术对铝合金进行定量分析，并将其与支持向量回归器 (SVR)、多层感知器 (MLP)、决策树 (DT)、梯度增强回归 (GBR)、随机森林回归 (RFR)、线性回归和最近邻 (KNN) 算法进行比较。结果表明，基于卷积递归网络的机器学习工具在大部分元素预测方面的效果最好。

    Apr, 2023

  • 学习思考：用算法信息理论处理强化学习控制器和递归神经网络世界模型的新型组合

    本文介绍了基于 RNN 的 AI (RNNAIs) 框架及其在强化学习中的应用，该框架旨在学习其初始未知环境的预测模型，并在抽象推理和决策制定方面对其进行询问和利用，实现了 “学习思考” 的目标。

    Nov, 2015