使用前向 - 前向算法训练卷积神经网络

Dec, 2023

使用前向 - 前向算法训练卷积神经网络

Training Convolutional Neural Networks with the Forward-Forward algorithm

Riccardo Scodellaro, Ajinkya Kulkarni, Frauke Alves, Matthias Schröter

TL;DR探索了前馈算法在卷积神经网络中的应用，并使用新的标记技术，在 MNIST 手写数字数据集上实现了 99％的分类准确率，并比较了不同超参数对算法性能的影响。

Abstract

The recent successes in analyzing images with deep neural networks are almost exclusively achieved with convolutional neural networks (CNNs). The training of these CNNs, and in fact of all deep neural network architectures, uses the backpropagation algorithm where the output of the net

convolutional neural networks training algorithm forward forward algorithm fully connected networks classification accuracy

发现论文，激发创造

扩展前向前向算法

该研究论文介绍了一种名为 “Forward Forward 算法” 的新颖神经网络训练方法，通过在 MNIST 和 IMDb 数据集上的实验拓展了该方法的应用范围，并提出了一种使用金字塔优化策略的阈值设定方法。实验结果表明，该方法在电影评论情感分析任务中取得了令人满意的性能，并通过可视化参数的分析揭示了一些重要洞察，例如，Forward Forward 网络所获得的权重的平均值和方差明显较大。

Jul, 2023

分布式深度学习中的前向 - 前向

通过分布式计算环境中采用 Geoffrey Hinton 的 Forward-Forward（FF）算法来增强神经网络的训练，该论文介绍了一种新的分布式深度学习方法。该方法利用双向传递策略进行前向传递，与传统的前向和后向传递方法有显著的区别，与人脑的处理机制更加接近，可能提供更有效和符合生物学原理的神经网络训练方法。我们的研究探索了 FF 算法在分布式环境中的实现，重点关注其促进神经网络层的并行训练能力。这种并行性旨在减少训练时间和资源消耗，从而解决当前分布式深度学习系统中存在的一些固有挑战。通过分析 FF 算法在分布式计算中的有效性，我们旨在展示其作为分布式深度学习系统中的一个具有变革性工具的潜力，提高训练效率。将 FF 算法集成到分布式深度学习中，代表了该领域的重要进展，有可能彻底改变在分布式环境中训练神经网络的方式。

Mar, 2024

综合正向算法：将正向传递和浅层反向传播与局部损失相结合

该研究比较了反向传播算法、前向 - 前向算法和提出的一个整合算法，并在 MNIST 数据库上进行了分类任务的测试，结果表明，使用提出的整合算法可以生成具有强健性等优势特征的神经网络。

May, 2023

基于前馈设计的可解释卷积神经网络

本文提出了一种解释性前馈 (FF) 设计，通过数据统计推导出当前层的网络参数，构建了基于 Saab 变换和 LRS 级联的卷积与全连接层的 CNN，并在 MNIST 和 CIFAR-10 数据集上比较了 BP 和 FF 设计的分类准确性和鲁棒性，并探讨了 BP 和 FF 设计之间的关系。

Oct, 2018

图神经网络的前向学习

通过本文中提出的 ForwardGNN 算法，我们可以以一种新的前向学习方式来解决 BP 算法所带来的局限性，该算法扩展了原始的前向传播算法，使其适用于图数据和图神经网络，并且不再需要产生负输入数据，同时每个层可以从自下而上和自上而下的信号中学习，而不依赖于误差的后向传播。在实际数据集上进行的大量实验表明，这种前向图学习框架的有效性和普适性。

Mar, 2024

改进的前向对比学习

在这篇论文中，我们通过消除 Forward-Forward Continuous Learning (FFCL) 的最后两个阶段和完全去除常规的反向传播，而仅仅依靠本地更新来解决常规反向传播在生物大脑中的局限性，从而提出了一种更具生物可行性的学习方法。

May, 2024

前向 - 前向算法的卷积式分通道竞争学习

通过通道竞争学习在卷积神经网络中提出前向传递算法（Forward-Forward Algorithm）的改进方法，构建一个逐层有竞争性的学习过程，避免了负数据的生成、收敛速度较慢以及在复杂任务上性能不足等限制，在图像分类任务中，我们的方法优于基于前向传递算法的最近模型，在 MNIST、Fashion-MNIST、CIFAR-10 和 CIFAR-100 上的测试错误率分别为 0.58%、7.69%、21.89% 和 48.77%。这项研究主张了一种能够以模块化、更高效、更灵活的方式学习有用的表示的方法。

Dec, 2023

自监督学习中正向正向算法的研究

我们首次研究了自监督表征学习中前向 - 前向算法与反向传播的性能，并对所学到的表征空间提供了深入洞察。在四个标准数据集（MNIST，F-MNIST，SVHN 和 CIFAR-10）以及三种常用的自监督表征学习技术（旋转，翻转和拼图）上，我们进行了基准测试。我们的主要发现是，虽然前向 - 前向算法在（自）监督训练过程中表现与反向传播相当，但在所有研究的设置中，其迁移性能显著滞后。这可能是由于每个层有一个损失函数以及前向 - 前向范式中的监督训练方式等多种因素的组合导致的。与反向传播相比，前向 - 前向算法更加关注边界并丢弃了决策所不必要的信息，从而损害了表征学习目标。进一步的调查和研究对于稳定前向 - 前向策略以超越 Geoffrey Hinton 所展示的数据集和配置是必要的。

Sep, 2023

高光谱图像分类的前向算法：初步研究

本研究探讨前向传递算法在高光谱图像分类中的应用，实验结果和比较分析表明该方法具有较大的潜力和优势，相较于传统反向传播算法可更好地克服初值敏感、梯度消失、过拟合和计算复杂度等问题。

Jul, 2023

使用前向前向算法训练的网络中的紧急表示

本研究中，作者探讨了一种名为 Forward-Forward 的训练神经网络的方法，与传统的 Backpropagation 背向算法相比，它采用了本地学习规则。作者通过实验发现，使用 Forward-Forward 算法进行训练所得到的神经网络内部表示可以组织成强健的、类别特定的合奏，并且由极少量的活跃单元（高稀疏度）组成，这与感官处理期间皮层表示的观察结果非常相似。这表明在模拟皮层学习方面，Forward-Forward 算法提出的学习过程比 Backpropagation 更优秀。

May, 2023