Oct, 2023

深度神经网络中的节点扰动有效学习

PDF
TL;DRBackpropagation (BP) is the dominant method for training deep neural networks, but node perturbation (NP) proposes learning through noise injection and measurement of induced loss change, yielding competitive performance when aligned with directional derivatives and combining with a decorrelating mechanism for layer-wise inputs.
backpropagationnode perturbationneural networklearningdirectional derivatives
发现论文，激发创造
  • 基于扰动的递归神经网络学习

    本研究针对循环神经网络提出了一种基于扰动学习的新方法，通过在时间域内进行节点扰动，实现与反向传播方法相媲美的性能，具有超越梯度方法的优势，证明了扰动学习方法是训练循环神经网络的一种多功能替代方案。

    May, 2024

  • 神经形态计算 deep learning 机器

    本篇论文介绍了一种名为 Event-Driven Random BP (eRBP) 规则的神经形态计算方法，可用于学习深度表示，其具有在神经形态硬件中实现的优势，并且与 GPU 上的人工神经网络模拟相比，分类准确性相近且在学习过程中鲁棒性较强。

    Dec, 2016

  • 噪声注入作为深度学习动态探针

    我们提出了一种新方法，通过使用噪声注入节点来干扰系统来探究深度神经网络（DNN）的学习机制。这些节点通过额外的可优化权重注入不相关噪声到现有的前馈网络架构中，而不改变优化算法。我们发现，系统在训练期间显示出不同的阶段，这些阶段由注入噪声的规模决定。我们首先推导出网络动力学的表达式，并将一个简单的线性模型作为测试用例。我们发现，在某些情况下，噪声节点的演变类似于未受干扰的损失，因此指示着将来能够使用噪声注入节点来更好地了解整个系统的可能性。

    Oct, 2022

  • 生物启发深度学习算法和架构的可扩展性评估

    通过对 MNIST、CIFAR-10 和 ImageNet 数据集中的机器学习任务进行实验，我们提出和探究了目标传播和反馈对齐算法的变体，在全连接和局部连接的体系结构下，大部分算法都可以很好的完成 MNIST 数据集的任务。然而，我们发现在面对 CIFAR 和 ImageNet 数据集时，这些算法在局部连接的体系结构下表现不如反向传播算法，因此我们需要新的架构和算法来扩展这些方法。

    Jul, 2018

  • 可扩展学习贝叶斯神经网络的概率反向传播

    本论文介绍了一种学习贝叶斯神经网络的新方法，称为概率反向传播 (PBP)，通过前向概率传递和后向梯度计算，PBP 比现有的贝叶斯技术更具可伸缩性，并提供了准确的网络权重后验方差估计。

    Feb, 2015

  • 目标传播的理论框架

    本研究中，我们分析了一种叫做目标传播（TP）的替代反向传播（BP）的方法，从数学优化的角度进行了研究，并发现了它的基本限制。我们提出了一个创新性的重构损失来改善反馈权重训练，并通过允许直接反馈连接从输出到每个隐藏层来引入架构灵活性。实验结果表明，与差分目标传播（DTP）相比，性能得到了显著提高，并且前向权重更新与损失梯度的对准得到了改善。

    Jun, 2020

  • 使用似然比方法进行神经网络训练：深入探讨无需反向传播的技术

    本研究提出了一种新的梯度估计方法 —— 似然比方法，用于从事各种神经网络体系结构的训练，并且相对于反向传播法，该方法能够显著提高神经网络对抗性攻击的鲁棒性。

    May, 2023

  • 反向传播邻域聚合：用于脉冲神经网络准确训练的方法

    提出了一种新颖的类反向传播算法 NA，用于解决在脉冲神经网络中通过邻域聚合的方式计算出精确误差梯度，进而训练模型，该算法在多个数据集上达到了目前最佳性能。

    Jun, 2021

  • 平衡中的贡献，按比例连接：从简单的生物可塑性规则中产生反向传播

    通过介绍一种新的神经可塑性规则，该研究提供了一种在大脑中实现反向传播的潜在机制，并在数学模拟和人工神经网络实验中证明该规则在网络中诱导出不同的社区结构，从而呈现出一种生物学上可行的 BP 实现方式。

    May, 2024

  • 单相对比赫布学习的两个故事

    通过将梯度表示为活动差异的方法进行生物合理性学习算法的搜索，提出了名为 “双向传播” 的完全本地学习算法，弥补了与反向传播的性能差距，无需分离的学习阶段或无穷小的盯人，在稳定性方面仍然与对称盯人无关。

    Feb, 2024