May, 2024

不对称权重的深度学习

PDF
TL;DR提出了 Product Feedback Alignment（PFA）算法，它在避免显式的权重对称的同时，几乎与反向传播（BP）算法相同，能够在深度卷积网络中实现可比较的性能，从而提供了对长期存在的权重对称问题的新解决方案，实现了更加符合生物合理性的深度卷积网络学习。
backpropagationproduct feedback alignmentbiologically plausible learningdeep convolutional networksweight symmetry problem
发现论文，激发创造
  • 可实现大规模数据集的生物合理学习算法

    研究了为了解决反向传播算法对称性问题的不同技术及其对不同数据集和网络结构的适用性，其中 sign-symmetry 算法展现出了逼近 BP 算法的分类性能。

    Nov, 2018

  • 深度卷积网络中的反馈对齐

    研究深度人工神经网络中的反向传播学习算法与大脑神经元突触可塑性规律的类比，介绍了不依赖于对称前向和后向突触权重的算法，提出通过加强权重符号一致性的反馈对准法的修改，可以实现与反向传播法相当的性能。这些研究结果表明，促进前向和反馈权重对准的机制对于深度网络的学习是至关重要的。

    Dec, 2018

  • 生物启发深度学习算法和架构的可扩展性评估

    通过对 MNIST、CIFAR-10 和 ImageNet 数据集中的机器学习任务进行实验，我们提出和探究了目标传播和反馈对齐算法的变体，在全连接和局部连接的体系结构下，大部分算法都可以很好的完成 MNIST 数据集的任务。然而，我们发现在面对 CIFAR 和 ImageNet 数据集时，这些算法在局部连接的体系结构下表现不如反向传播算法，因此我们需要新的架构和算法来扩展这些方法。

    Jul, 2018

  • 直接反馈对齐在现代深度学习任务和架构中的拓展

    本文探讨了替代反向传播算法的方案，研究了直接反馈对神经视图合成、推荐系统、几何学习和自然语言处理的适用性，并发现该方案可以成功训练各种现代深度学习架构，其性能接近于微调的反向传播，支持在没有权重传输的情况下解决具有挑战性的任务。

    Jun, 2020

  • 使用直接反馈对齐进行高效的卷积神经网络训练

    本文提出了结合 BP 算法的 BDFA 算法，同时提出了反馈权重初始化方法和模式分析技术来维持训练稳定性和最小化计算成本。 实验结果表明，该方法在小数据集环境下表现优异。

    Jan, 2019

  • 直接反馈对齐提供深度神经网络的学习

    使用反馈定向方法进行神经网络训练的简单方法能够在卷积网络和深度网络中实现零训练误差，而不需要成对的权重，是迈向生物可行机器学习的一步。

    Sep, 2016

  • 具有增强目标信息的学习：反馈对齐的另一种理论

    该研究提出了一种基于信息理论的新颖理论，解释了反馈对齐（Feedback Alignment）是如何通过将目标信息嵌入到神经网络中来学习有效表示，其表现与 BP 算法相比，且还考虑到了生物学方面的现象和理论，例如预测编码和表征漂移。

    Apr, 2023

  • SymBa: 前向前算法的对称反向传播无对比学习用于优化收敛

    本文提出了 SymBa 算法，该算法旨在实现比反向传播（BP）更生物学上合理的学习。 SymBa 算法通过解决正负样本收敛方向冲突引起的不对称梯度问题，平衡正负损失以增强性能和收敛速度，并通过添加包含类信息的内在类模式（ICP）来修改 FF 算法、防止推导过程中丢失类信息。实验证明 SymBa 算法相对于 FF 算法和 BP 的有效性。

    Mar, 2023

  • 反向传播中权重对称性的重要性如何？

    通过 15 个不同的分类数据集系统性地调查 BP 算法的对称性依赖程度，研究结果表明：1. 反馈权重的大小对性能没有影响；2. 反馈权重的符号对性能影响显著，符号越一致性能越好；3. 使用随机大小的反馈权重且符号完全一致时，性能相当甚至优于 SGD；4. 需要一些规范 / 稳定化才能使这种不对称 BP 算法起作用，即批量归一化（BN）和 / 或一种 “批量曼哈顿”（BM）更新规则。

    Oct, 2015

  • 深度神经网络中的逐层反馈对齐保持不变

    本文揭示了支持反馈对齐学习动力学的一组守恒定律，揭示了反馈对齐与梯度下降之间的有趣类比，挑战了这些学习算法根本不同的流行说法，并表明这些守恒定律阐明了 ReLU 网络中反馈矩阵的逐层对齐的充分条件，这将使得使用反馈对齐训练的两层线性网络收敛到最小化范数的解决方案。

    Jun, 2023