Mar, 2024

反向传播：超越空间、时间与大脑

PDF
TL;DR在生物神经网络中实现高效的学习需要对个体突触进行适应性调节，然而，由于时空依赖性的限制，目前对于如何进行高效的信用赋值仍然是一个值得研究的问题。本文提出了一种称为广义潜在均衡（GLE）的计算框架，用于在具有时空连续性神经动力学的物理网络中实现完全本地的时空信用赋值，该框架利用了生物神经元可以根据其膜电位相移其输出速率的能力。
发现论文，激发创造
  • 基于生物学启发的循环神经网络学习的反向传播时序算法替代方案

    通过实时与合适的自上而下学习信号合并本地可用信息，为循环神经网络提供了高效的学习算法，其中包括了神经形态芯片的在线训练，从而拓宽了大脑中的网络学习理解并在实验中得到了验证。

    Jan, 2019

  • 推广平衡传播至矢量场动态

    该论文探讨了反向传播算法的生物学可信度以及提出了一种基于平衡传导法、解决了双向信号问题和对称连接问题的前向和后向连接的学习方法。

    Aug, 2018

  • 平衡中的贡献，按比例连接：从简单的生物可塑性规则中产生反向传播

    通过介绍一种新的神经可塑性规则，该研究提供了一种在大脑中实现反向传播的潜在机制，并在数学模拟和人工神经网络实验中证明该规则在网络中诱导出不同的社区结构，从而呈现出一种生物学上可行的 BP 实现方式。

    May, 2024

  • 基于目标投影的在线时空学习

    提出了一种新的在线时空学习算法 OSTTP，它解决了 BPTT 算法所遇到的种种问题，并在两个时态任务中证明了其竞争力；另外，该算法在记忆电阻神经形态硬件系统上得到了实现和展示其灵活性和适用性。

    Apr, 2023

  • 平衡传播：弥合基于能量模型与反向传播之间的鸿沟

    介绍 Equilibrium Propagation - 一种学习能量模型的框架，该模型仅涉及一种神经计算，并在两个阶段中执行，通过 Local perturbations，使预测从一个配置微调到减少预测误差的配置，并且在第二阶段向后传播的信号编码错误导数的梯度。

    Feb, 2016

  • 无权重对称的可扩展信用分配的两种方法

    本文讨论了反向传播算法的神经可行性，研究了一种竞争性的局部学习规则和几种使权重传输过程更生物学可行的非局部学习规则，并提出了两条无需权重对称的神经实现学分分配的路径。

    Feb, 2020

  • 能量模型微观推断极限下的反向传播：预测编码、平衡传播和对比性赫布学习的统一

    本文提供了能量基模型（EBMs）在逼近反向传播（BP）方面的综合理论，统一了预测编码、平衡传播和对比 Hebbian 学习等算法，从 EBMs 的自由相平衡这一简单而普遍的数学特性出发，在不同的能量函数下进行选择以得出一类逼近 BP 的算法。

    May, 2022

  • 基于前向时间轴的神经形态学在线学习空时模式

    针对脉冲神经网络的在线学习问题，本研究提出了适用于在线学习的神经突触自适应空时学习算法（SOLSA）。相比传统的通过时间反向传播（BPTT）算法，SOLSA 在内存需求上更低，具有更平衡的时间工作负载分配，并且通过调度权重更新、提前停止训练和自适应突触滤波等增强技术，提高了收敛速度和学习性能。与其他非 BPTT 基于的脉冲神经网络学习方法相比，SOLSA 在平均学习准确度上表现出 14.2% 的提升。此外，SOLSA 相比于 BPTT，在平均学习准确度提高了 5% 的同时，内存成本减少了 72%。

    Jul, 2023

  • S-TLLR: 基于 STDP 的脉冲神经网络时间局部学习规则

    提出了一种新的三因素时间局部学习规则 S-TLLR，该规则考虑了神经元之间的因果和非因果关系，可以在边缘设备上进行在线学习，并在图像和手势识别、音频分类和光流估计等应用中取得了高精度和计算复杂度降低的结果。

    Jun, 2023

  • 稀疏关注回溯：通过提醒实现时间信用分配

    为了学习长期依赖性，本文提出了一种新算法，在过去状态中关联与当前状态相关的记忆，通过注意力机制实现长期跳跃连接，用于逐步向过去传递信用分配，该算法相对于有反向传播实现的算法具有更好的性能。

    Sep, 2018