用生物学启发的算法传播本地目标表示

AAAIMay, 2018

用生物学启发的算法传播本地目标表示

Biologically Motivated Algorithms for Propagating Local Target Representations

Alexander G. Ororbia, Ankur Mali

TL;DR提出了一种名为误差驱动局部表示对齐 (LRA-E) 的学习算法，它与预测编码有强烈的联系，可以在训练深度非线性网络时得到更稳定的性能和更强的泛化能力，并且通过与其他生物启发算法的比较，表现最佳。

Abstract

Finding biologically plausible alternatives to back-propagation of errors is a fundamentally important challenge in artificial neural network research. In this paper, we propose a learning algorithm called error-driven Local Representation Alignment (LRA-E), which has strong connections to predictive coding, a theory that offers a mechanistic way of describi

back-propagation alternatives neurocomputational machinery local representation alignment predictive coding difference target propagation

发现论文，激发创造

激活松弛：脑内反向传播的局部动态逼近

提出了 Activation Relaxation (AR) 算法，利用构建反向传播梯度的动力系统平衡点实现只利用局部信号的反向传播，可以在任意计算图上收敛，能在视觉分类任务上训练深度神经网络并且进行神经生物学实现的简化。

Sep, 2020

使用局部误差的深度监督学习

本文提出通过引入本地误差和随机辅助分类器来优化深度网络中的学习机制，旨在解决反向传播算法中存在的反应延迟和与生物神经网络的学习机制的矛盾。实验证明，该方法效果优于反馈对齐学习技术，并强调了其潜在的生物学机制和在定制硬件上的应用前景。

Nov, 2017

基于概率潜在表示的块局部学习

通过引入双网络的反向传播方法和将网络中的层激活视作概率分布的参数，本文提出了一种解决反向传播中锁死和权重传输问题的新方法，从而实现对大型网络的分布式高效训练。相应的实验结果表明了其在多种任务和结构上的优越表现。

May, 2023

GAIT-prop：一种源自误差反向传播的生物合理的学习规则

提出了 GAIT-Prop 算法，该算法是目标传播算法的一种改进形式，并与 Backpropagation 算法在某些条件下等价。该算法在神经网络训练中可以产生与传统 Backpropagation 算法几乎相同的性能表现，尤其在软正交性约束得到应用时。

Jun, 2020

反向传播：超越空间、时间与大脑

在生物神经网络中实现高效的学习需要对个体突触进行适应性调节，然而，由于时空依赖性的限制，目前对于如何进行高效的信用赋值仍然是一个值得研究的问题。本文提出了一种称为广义潜在均衡（GLE）的计算框架，用于在具有时空连续性神经动力学的物理网络中实现完全本地的时空信用赋值，该框架利用了生物神经元可以根据其膜电位相移其输出速率的能力。

Mar, 2024

具有增强目标信息的学习：反馈对齐的另一种理论

该研究提出了一种基于信息理论的新颖理论，解释了反馈对齐（Feedback Alignment）是如何通过将目标信息嵌入到神经网络中来学习有效表示，其表现与 BP 算法相比，且还考虑到了生物学方面的现象和理论，例如预测编码和表征漂移。

Apr, 2023

生物启发深度学习算法和架构的可扩展性评估

通过对 MNIST、CIFAR-10 和 ImageNet 数据集中的机器学习任务进行实验，我们提出和探究了目标传播和反馈对齐算法的变体，在全连接和局部连接的体系结构下，大部分算法都可以很好的完成 MNIST 数据集的任务。然而，我们发现在面对 CIFAR 和 ImageNet 数据集时，这些算法在局部连接的体系结构下表现不如反向传播算法，因此我们需要新的架构和算法来扩展这些方法。

Jul, 2018

在多智能体网络框架中寻求下一层神经元的注意力进行类反向传播训练

神经网络训练中的局部目标与错误反向传播在效率和可扩展性方面具有相似性，本研究通过实验表明多智能体神经网络比错误反向传播在遗忘方面具有更出色的性能。

Oct, 2023

直接反馈对齐提供深度神经网络的学习

使用反馈定向方法进行神经网络训练的简单方法能够在卷积网络和深度网络中实现零训练误差，而不需要成对的权重，是迈向生物可行机器学习的一步。

Sep, 2016

局部传播网络学习

本文提出了一个基于局部传播和局部目标的网络参数学习方法，在任何可表示为图形形式的网络中具有统一的学习原则，可以理解和解释局部和全局学习动态，并在学习时间和网络规模上具有先进方法的优势，同时具有可等同的识别准确度

May, 2018