深度卷积网络中的反馈对齐
通过对MNIST、CIFAR-10和ImageNet数据集中的机器学习任务进行实验，我们提出和探究了目标传播和反馈对齐算法的变体，在全连接和局部连接的体系结构下，大部分算法都可以很好的完成MNIST数据集的任务。然而，我们发现在面对CIFAR和ImageNet数据集时，这些算法在局部连接的体系结构下表现不如反向传播算法，因此我们需要新的架构和算法来扩展这些方法。
Jul, 2018
研究了为了解决反向传播算法对称性问题的不同技术及其对不同数据集和网络结构的适用性，其中sign-symmetry算法展现出了逼近BP算法的分类性能。
Nov, 2018
通过使用反馈对齐算法，提出了一种生物相似性算法来替代反向传播，用一个稀疏的反馈矩阵可以显著改进数据移动和计算的效率，与反向传播相比，可以实现数量级的改进，并且可以在某些方面获得硬件优势，同时还可以获得具有可比性的结果。
Jan, 2019
本文提出两种机制：神经电路称为“权值镜像”和一种修正Kolen和Pollack于1994年提出的算法的方法来解决反馈路径的合适突触权重的学习。经验表明，这些机制对于大型网络的深度学习具有高效和精确的学习能力，且不需要复杂的连线。这些机制在ImageNet视觉识别任务上表现超过了反馈对齐和新的符号对称方法，并且几乎匹配了标准的深度学习算法backprop。
Apr, 2019
本文探讨了替代反向传播算法的方案，研究了直接反馈对神经视图合成、推荐系统、几何学习和自然语言处理的适用性，并发现该方案可以成功训练各种现代深度学习架构，其性能接近于微调的反向传播，支持在没有权重传输的情况下解决具有挑战性的任务。
Jun, 2020
该论文研究“反馈对齐”算法的数学特性，通过分析二层网络在平方误差损失下的收敛和对齐，证明在过度参数化的情况下，误差会以指数速度收敛，以及参数对齐需要正则化。该成果对我们理解生物学可行的算法如何不同于Hebbian学习方法，具有与非本地反向传播算法相当的性能提供了方法。
Jun, 2021
本文通过考虑神经元的宽度，利用神经切向核学习理论研究了神经网络在生物学中的可能模型，并提出了一种基于输入活动相关性的反向传播算法，该方法在低数据环境中表现出与反向传播相当的性能。
Jun, 2021
本文揭示了支持反馈对齐学习动力学的一组守恒定律，揭示了反馈对齐与梯度下降之间的有趣类比，挑战了这些学习算法根本不同的流行说法，并表明这些守恒定律阐明了ReLU网络中反馈矩阵的逐层对齐的充分条件，这将使得使用反馈对齐训练的两层线性网络收敛到最小化范数的解决方案。
Jun, 2023
提出了Product Feedback Alignment（PFA）算法，它在避免显式的权重对称的同时，几乎与反向传播（BP）算法相同，能够在深度卷积网络中实现可比较的性能，从而提供了对长期存在的权重对称问题的新解决方案，实现了更加符合生物合理性的深度卷积网络学习。
May, 2024