Oct, 2015

反向传播中权重对称性的重要性如何？

PDF
TL;DR通过 15 个不同的分类数据集系统性地调查 BP 算法的对称性依赖程度，研究结果表明：1. 反馈权重的大小对性能没有影响；2. 反馈权重的符号对性能影响显著，符号越一致性能越好；3. 使用随机大小的反馈权重且符号完全一致时，性能相当甚至优于 SGD；4. 需要一些规范 / 稳定化才能使这种不对称 BP 算法起作用，即批量归一化（BN）和 / 或一种 “批量曼哈顿”（BM）更新规则。
gradient backpropagationweight symmetryfeedback weightsperformancenormalization
发现论文，激发创造
  • 可实现大规模数据集的生物合理学习算法

    研究了为了解决反向传播算法对称性问题的不同技术及其对不同数据集和网络结构的适用性，其中 sign-symmetry 算法展现出了逼近 BP 算法的分类性能。

    Nov, 2018

  • 深度卷积网络中的反馈对齐

    研究深度人工神经网络中的反向传播学习算法与大脑神经元突触可塑性规律的类比，介绍了不依赖于对称前向和后向突触权重的算法，提出通过加强权重符号一致性的反馈对准法的修改，可以实现与反向传播法相当的性能。这些研究结果表明，促进前向和反馈权重对准的机制对于深度网络的学习是至关重要的。

    Dec, 2018

  • 不对称权重的深度学习

    提出了 Product Feedback Alignment（PFA）算法，它在避免显式的权重对称的同时，几乎与反向传播（BP）算法相同，能够在深度卷积网络中实现可比较的性能，从而提供了对长期存在的权重对称问题的新解决方案，实现了更加符合生物合理性的深度卷积网络学习。

    May, 2024

  • 无权重对称的可扩展信用分配的两种方法

    本文讨论了反向传播算法的神经可行性，研究了一种竞争性的局部学习规则和几种使权重传输过程更生物学可行的非局部学习规则，并提出了两条无需权重对称的神经实现学分分配的路径。

    Feb, 2020

  • 随机反向传播权重的梯度下降的收敛和对齐

    该论文研究 “反馈对齐” 算法的数学特性，通过分析二层网络在平方误差损失下的收敛和对齐，证明在过度参数化的情况下，误差会以指数速度收敛，以及参数对齐需要正则化。该成果对我们理解生物学可行的算法如何不同于 Hebbian 学习方法，具有与非本地反向传播算法相当的性能提供了方法。

    Jun, 2021

  • 具有不对称连接和 Hebbian 更新 的深度学习

    本论文提出一种使用 Hebbian 更新训练深度网络的方法，反馈权重与前馈权重分离以克服反向传播中不真实的对称性，即使在权重不同的情况下，其性能也与常规反向传播相当，同时提出了一种可以表示为最后一层局部 Hebbian 更新的成本函数。

    Nov, 2018

  • 基于脉冲的因果推理用于权值对齐

    通过引入脉冲系统处理信息，使得反向传导和前向传输的神经突触权重不相同，解决了生物模型中学习时的权重传递问题，提高了学习表现。

    Oct, 2019

  • 大脑皮层微电路的计算框架近似于符号一致的随机反向传播

    本研究提出一种基于神经科学机制实现随机反向传播的框架，该框架采用三种类型的元件和两种类型的突触连接来计算和传播错误信号，并支持全局定义的尖峰误差函数的多层尖峰神经网络的训练。使用局部部件中操作的 Hebb 定律来更新突触权值并以生物学可行的方式实现监督学习。最后，从优化的角度解释了提出的框架并显示其等效于符号一致反馈对齐。

    May, 2022

  • 深度网络中对称性的理解

    本研究针对深度网络权重空间中的对称性问题，探讨了使用基于单位范数的约束来改善权重空间对称性问题的方法，并通过 MNIST 数据集上的实验证明该方法优于批量归一化方法且不会影响权重更新的计算性能。

    Nov, 2015

  • 前馈网络中的缩放和重定比对称性

    这篇研究论文指出，当神经网络的权值与偏差在临界线的值上初始化时，可以加速训练速度，并且在未经训练的前馈网络中，具有物理系统的临界点展现出的自相似的特性。

    Jun, 2023