我们首次研究了自监督表征学习中前向 - 前向算法与反向传播的性能，并对所学到的表征空间提供了深入洞察。在四个标准数据集（MNIST，F-MNIST，SVHN 和 CIFAR-10）以及三种常用的自监督表征学习技术（旋转，翻转和拼图）上，我们进行了基准测试。我们的主要发现是，虽然前向 - 前向算法在（自）监督训练过程中表现与反向传播相当，但在所有研究的设置中，其迁移性能显著滞后。这可能是由于每个层有一个损失函数以及前向 - 前向范式中的监督训练方式等多种因素的组合导致的。与反向传播相比，前向 - 前向算法更加关注边界并丢弃了决策所不必要的信息，从而损害了表征学习目标。进一步的调查和研究对于稳定前向 - 前向策略以超越 Geoffrey Hinton 所展示的数据集和配置是必要的。

Sep, 2023

在这篇论文中，我们通过消除 Forward-Forward Continuous Learning (FFCL) 的最后两个阶段和完全去除常规的反向传播，而仅仅依靠本地更新来解决常规反向传播在生物大脑中的局限性，从而提出了一种更具生物可行性的学习方法。

May, 2024

该研究比较了反向传播算法、前向 - 前向算法和提出的一个整合算法，并在 MNIST 数据库上进行了分类任务的测试，结果表明，使用提出的整合算法可以生成具有强健性等优势特征的神经网络。

May, 2023

最近的深度学习模型，如 ChatGPT，利用反向传播算法展示出令人瞩目的性能。然而，生物大脑过程与反向传播算法之间的差异被注意到。为了解决这个问题，出现了纯正向传播算法，它只通过前向传递来训练深度学习模型。尽管由于必须使用特殊的输入和损失函数等局限性，纯正向传播算法不能取代反向传播，但它在反向传播难以使用的特殊情况下具有潜在的有用性。为了解决这个局限并验证可用性，我们提出了一种无监督的纯正向传播算法。使用无监督学习模型可以使用通常的损失函数和输入进行训练，没有限制。通过这种方法，我们实现了稳定的学习，并能够在不同的数据集和任务中实现多功能的应用。从可用性的角度来看，考虑到纯正向传播算法的特点和所提方法的优势，我们预计它在需要在物理分布环境中单独训练深度学习层的场景中实际应用，如联合学习。

Apr, 2024

介绍一种新的神经网络学习过程 —— 正向式算法，通过两次正向传递代替反向传播的前向和反向传递，并具有针对正数据具有高好度和负数据低好度的目标函数。

Dec, 2022

探索了前馈算法在卷积神经网络中的应用，并使用新的标记技术，在 MNIST 手写数字数据集上实现了 99％的分类准确率，并比较了不同超参数对算法性能的影响。

Dec, 2023

本研究探讨了前向传播算法中的层次协作，并提出了一种新的版本来支持层次协作，以更好地利用神经网络的结构，同时不需要任何额外的假设或计算。经验证明，所提出的版本对于同时考虑信息流和目标度量具有显著的效果，并且这种方法受到了函数熵理论的启发。

May, 2023

通过本文中提出的 ForwardGNN 算法，我们可以以一种新的前向学习方式来解决 BP 算法所带来的局限性，该算法扩展了原始的前向传播算法，使其适用于图数据和图神经网络，并且不再需要产生负输入数据，同时每个层可以从自下而上和自上而下的信号中学习，而不依赖于误差的后向传播。在实际数据集上进行的大量实验表明，这种前向图学习框架的有效性和普适性。

Mar, 2024

通过对神经计算的进一步研究，我们证明了当使用平方欧几里得范数作为驱动局部学习的好度函数时，Forward-Forward Algorithm（FFA）等同于新赫布学习规则，并通过比较两个版本的 FFA 在模拟网络和脉冲神经网络中的训练行为，证实了生物学习规则与当前使用的训练算法之间的关联，并为将 FFA 的积极结果推广到赫布学习规则铺平了道路。同时，我们的结果暗示在 FFA 下训练的模拟网络可以直接应用于神经形态计算，从而实现能源消耗的降低和计算速度的增加。

Jun, 2024

研究深度人工神经网络中的反向传播学习算法与大脑神经元突触可塑性规律的类比，介绍了不依赖于对称前向和后向突触权重的算法，提出通过加强权重符号一致性的反馈对准法的修改，可以实现与反向传播法相当的性能。这些研究结果表明，促进前向和反馈权重对准的机制对于深度网络的学习是至关重要的。

Dec, 2018