Oct, 2023

在多智能体网络框架中寻求下一层神经元的注意力进行类反向传播训练

PDF
TL;DR神经网络训练中的局部目标与错误反向传播在效率和可扩展性方面具有相似性，本研究通过实验表明多智能体神经网络比错误反向传播在遗忘方面具有更出色的性能。
发现论文，激发创造
  • 使用局部误差的深度监督学习

    本文提出通过引入本地误差和随机辅助分类器来优化深度网络中的学习机制，旨在解决反向传播算法中存在的反应延迟和与生物神经网络的学习机制的矛盾。实验证明，该方法效果优于反馈对齐学习技术，并强调了其潜在的生物学机制和在定制硬件上的应用前景。

    Nov, 2017

  • 使用本地错误信号训练神经网络

    该论文探讨了使用分层损失函数进行神经网络分类的监督训练的方法，表明可在多种图像数据集上达到最先进水平，在局部学习的情况下，使用本地误差可能是朝着更符合生物学的深度学习的一步。

    Jan, 2019

  • 反馈与局部可塑性学习的学习

    本研究使用元学习发现网络如何利用反馈机制和本地、仿生学习规则，以进行在线信用分配，并超越了现有的基于梯度的算法在回归和分类任务方面的性能，特别是在持续学习方面表现优异，结果表明存在一类生物可行的学习机制，不仅匹配梯度下降，而且还克服了其局限性。

    Jun, 2020

  • 基于概率潜在表示的块局部学习

    通过引入双网络的反向传播方法和将网络中的层激活视作概率分布的参数，本文提出了一种解决反向传播中锁死和权重传输问题的新方法，从而实现对大型网络的分布式高效训练。相应的实验结果表明了其在多种任务和结构上的优越表现。

    May, 2023

  • 反向链接：具有监督的本地训练

    该工作提出了一种新型的本地化训练算法，BackLink，它引入了模块间的反向依赖关系，采用了一定的误差传播长度限制，并在深卷积神经网络中进行了广泛的实验，表明我们的方法通过提高分类性能来改善本地培训算法。

    May, 2022

  • 生物启发深度学习算法和架构的可扩展性评估

    通过对 MNIST、CIFAR-10 和 ImageNet 数据集中的机器学习任务进行实验，我们提出和探究了目标传播和反馈对齐算法的变体，在全连接和局部连接的体系结构下，大部分算法都可以很好的完成 MNIST 数据集的任务。然而，我们发现在面对 CIFAR 和 ImageNet 数据集时，这些算法在局部连接的体系结构下表现不如反向传播算法，因此我们需要新的架构和算法来扩展这些方法。

    Jul, 2018

  • 通过矩阵反向传播训练具有结构层的深度网络

    本文提出了一种将全局结构化计算形式化整合到深度计算架构中的方法，其核心是开发了一种新的基于矩阵变化的 backpropagation 理论和实践，该方法广泛适用于机器学习或计算感知问题，我们在 BSDS 和 MSCOCO 基准测试中执行视觉分割实验，结果表明端到端训练的基于第二阶池化和归一化切割层的深度网络，使用矩阵反向传播优于没有利用全局层的对应网络。

    Sep, 2015

  • 目标传播的理论框架

    本研究中，我们分析了一种叫做目标传播（TP）的替代反向传播（BP）的方法，从数学优化的角度进行了研究，并发现了它的基本限制。我们提出了一个创新性的重构损失来改善反馈权重训练，并通过允许直接反馈连接从输出到每个隐藏层来引入架构灵活性。实验结果表明，与差分目标传播（DTP）相比，性能得到了显著提高，并且前向权重更新与损失梯度的对准得到了改善。

    Jun, 2020

  • 直接反馈对齐提供深度神经网络的学习

    使用反馈定向方法进行神经网络训练的简单方法能够在卷积网络和深度网络中实现零训练误差，而不需要成对的权重，是迈向生物可行机器学习的一步。

    Sep, 2016

  • 树突皮层微电路模拟反向传播算法

    本文基于深度学习和神经科学，介绍了一种多层神经元网络模型，该模型利用简化的树突区，实现误差驱动的突触可塑性，在时间上持续地通过局部树突预测误差进行突触学习，进而解决了长期以来的突触学分配问题，并在回归和分类任务中证明模型的学习能力。

    Oct, 2018