使用局部误差的深度监督学习

Nov, 2017

Deep supervised learning using local errors

Hesham Mostafa, Vishwajith Ramesh, Gert Cauwenberghs

TL;DR本文提出通过引入本地误差和随机辅助分类器来优化深度网络中的学习机制，旨在解决反向传播算法中存在的反应延迟和与生物神经网络的学习机制的矛盾。实验证明，该方法效果优于反馈对齐学习技术，并强调了其潜在的生物学机制和在定制硬件上的应用前景。

Abstract

Error backpropagation is a highly effective mechanism for learning high-quality hierarchical features in deep networks. Updating the features or weights in one layer, however, requires waiting for the propagation

backpropagation hierarchical features local error random auxiliary classifiers neural networks

发现论文，激发创造

使用本地错误信号训练神经网络

该论文探讨了使用分层损失函数进行神经网络分类的监督训练的方法，表明可在多种图像数据集上达到最先进水平，在局部学习的情况下，使用本地误差可能是朝着更符合生物学的深度学习的一步。

Jan, 2019

基于概率潜在表示的块局部学习

通过引入双网络的反向传播方法和将网络中的层激活视作概率分布的参数，本文提出了一种解决反向传播中锁死和权重传输问题的新方法，从而实现对大型网络的分布式高效训练。相应的实验结果表明了其在多种任务和结构上的优越表现。

May, 2023

竞争隐藏单元的无监督学习

提出了一个与生物学有相当可信度的非常规学习规则，可以通过全局抑制作用于隐藏层，能够完全无监督的学习早期特征检测器，这些学过的下层特征检测器可用于以惯常的有监督方式训练更高层次的权重，以使整个网络的性能与通过反向传播算法端对端训练的前馈网络的性能相当。

Jun, 2018

随机反馈权重支持深度神经网络学习

提出一种新的深度学习算法，通过随机突触权重与误差信号相乘来学习网络的参数，有效地规避了神经回溯算法在大脑构造中的限制。

Nov, 2014

直接反馈对齐提供深度神经网络的学习

使用反馈定向方法进行神经网络训练的简单方法能够在卷积网络和深度网络中实现零训练误差，而不需要成对的权重，是迈向生物可行机器学习的一步。

Sep, 2016

在多智能体网络框架中寻求下一层神经元的注意力进行类反向传播训练

神经网络训练中的局部目标与错误反向传播在效率和可扩展性方面具有相似性，本研究通过实验表明多智能体神经网络比错误反向传播在遗忘方面具有更出色的性能。

Oct, 2023

无权重对称的可扩展信用分配的两种方法

本文讨论了反向传播算法的神经可行性，研究了一种竞争性的局部学习规则和几种使权重传输过程更生物学可行的非局部学习规则，并提出了两条无需权重对称的神经实现学分分配的路径。

Feb, 2020

反馈与局部可塑性学习的学习

本研究使用元学习发现网络如何利用反馈机制和本地、仿生学习规则，以进行在线信用分配，并超越了现有的基于梯度的算法在回归和分类任务方面的性能，特别是在持续学习方面表现优异，结果表明存在一类生物可行的学习机制，不仅匹配梯度下降，而且还克服了其局限性。

Jun, 2020

增强辅助网络的有监督局部学习扩展

提出了一种名为 AugLocal 的增强本地学习方法，通过选择其后续网络层的小部分层来增强它们之间的协同作用，解决了本地学习方法在大规模网络中与 BP 方法之间的精度差距问题，并减少了 GPU 内存使用量约 40%，为资源受限平台上训练高性能深度神经网络带来了许多机会。

Feb, 2024

通过本地竞争来实现激活学习

本文提出了一种生物可行的局部学习规则，利用神经元之间的局部竞争完成无监督特征发现，使用称为激活学习的正向学习范例对样本进行分类，在一些小数据集上能够与反向传播相媲美；同时在实现异常检测时表现出色。

Sep, 2022