Oct, 2015

反向传播中权重对称性的重要性如何？

HTML
PDF
TL;DR通过15个不同的分类数据集系统性地调查BP算法的对称性依赖程度，研究结果表明：1.反馈权重的大小对性能没有影响；2.反馈权重的符号对性能影响显著，符号越一致性能越好；3.使用随机大小的反馈权重且符号完全一致时，性能相当甚至优于SGD；4.需要一些规范/稳定化才能使这种不对称BP算法起作用，即批量归一化（BN）和/或一种“批量曼哈顿”（BM）更新规则。
发现论文，激发创造
  • 深度网络中对称性的理解

    本研究针对深度网络权重空间中的对称性问题，探讨了使用基于单位范数的约束来改善权重空间对称性问题的方法，并通过 MNIST 数据集上的实验证明该方法优于批量归一化方法且不会影响权重更新的计算性能。

    Nov, 2015

  • 深度网络中的对称不变优化

    本文提出了两种基于对称不变梯度的权重更新方式，使用这些方式进行学习可以提高测试性能而不损失权重更新的计算效率。在MNIST数据集上，我们的实验证据表明这些更新有效，并且我们还展示了在图像分割问题上采用这些权重更新方法的训练结果。

    Nov, 2015

  • 可实现大规模数据集的生物合理学习算法

    研究了为了解决反向传播算法对称性问题的不同技术及其对不同数据集和网络结构的适用性，其中sign-symmetry算法展现出了逼近BP算法的分类性能。

    Nov, 2018

  • 深度卷积网络中的反馈对齐

    研究深度人工神经网络中的反向传播学习算法与大脑神经元突触可塑性规律的类比，介绍了不依赖于对称前向和后向突触权重的算法，提出通过加强权重符号一致性的反馈对准法的修改，可以实现与反向传播法相当的性能。这些研究结果表明，促进前向和反馈权重对准的机制对于深度网络的学习是至关重要的。

    Dec, 2018

  • 带有稀疏连接的直接反馈对于局部学习的应用

    通过使用反馈对齐算法，提出了一种生物相似性算法来替代反向传播，用一个稀疏的反馈矩阵可以显著改进数据移动和计算的效率，与反向传播相比，可以实现数量级的改进，并且可以在某些方面获得硬件优势，同时还可以获得具有可比性的结果。

    Jan, 2019

  • 无权重传输的深度学习

    本文提出两种机制：神经电路称为“权值镜像”和一种修正Kolen和Pollack于1994年提出的算法的方法来解决反馈路径的合适突触权重的学习。经验表明，这些机制对于大型网络的深度学习具有高效和精确的学习能力，且不需要复杂的连线。这些机制在ImageNet视觉识别任务上表现超过了反馈对齐和新的符号对称方法，并且几乎匹配了标准的深度学习算法backprop。

    Apr, 2019

  • 基于脉冲的因果推理用于权值对齐

    通过引入脉冲系统处理信息，使得反向传导和前向传输的神经突触权重不相同，解决了生物模型中学习时的权重传递问题，提高了学习表现。

    Oct, 2019

  • 无权重对称的可扩展信用分配的两种方法

    本文讨论了反向传播算法的神经可行性，研究了一种竞争性的局部学习规则和几种使权重传输过程更生物学可行的非局部学习规则，并提出了两条无需权重对称的神经实现学分分配的路径。

    Feb, 2020

  • 随机反向传播权重的梯度下降的收敛和对齐

    该论文研究“反馈对齐”算法的数学特性，通过分析二层网络在平方误差损失下的收敛和对齐，证明在过度参数化的情况下，误差会以指数速度收敛，以及参数对齐需要正则化。该成果对我们理解生物学可行的算法如何不同于Hebbian学习方法，具有与非本地反向传播算法相当的性能提供了方法。

    Jun, 2021

  • 不对称权重的深度学习

    提出了Product Feedback Alignment（PFA）算法，它在避免显式的权重对称的同时，几乎与反向传播（BP）算法相同，能够在深度卷积网络中实现可比较的性能，从而提供了对长期存在的权重对称问题的新解决方案，实现了更加符合生物合理性的深度卷积网络学习。

    May, 2024