Jul, 2023

扩展前向前向算法

PDF
TL;DR该研究论文介绍了一种名为 “Forward Forward 算法” 的新颖神经网络训练方法，通过在 MNIST 和 IMDb 数据集上的实验拓展了该方法的应用范围，并提出了一种使用金字塔优化策略的阈值设定方法。实验结果表明，该方法在电影评论情感分析任务中取得了令人满意的性能，并通过可视化参数的分析揭示了一些重要洞察，例如，Forward Forward 网络所获得的权重的平均值和方差明显较大。
forward forward algorithmneural networksmnist datasetimdb movie reviews datasetpyramidal optimization strategy
发现论文，激发创造
  • 使用前向 - 前向算法训练卷积神经网络

    探索了前馈算法在卷积神经网络中的应用，并使用新的标记技术，在 MNIST 手写数字数据集上实现了 99％的分类准确率，并比较了不同超参数对算法性能的影响。

    Dec, 2023

  • 分布式深度学习中的前向 - 前向

    通过分布式计算环境中采用 Geoffrey Hinton 的 Forward-Forward（FF）算法来增强神经网络的训练，该论文介绍了一种新的分布式深度学习方法。该方法利用双向传递策略进行前向传递，与传统的前向和后向传递方法有显著的区别，与人脑的处理机制更加接近，可能提供更有效和符合生物学原理的神经网络训练方法。我们的研究探索了 FF 算法在分布式环境中的实现，重点关注其促进神经网络层的并行训练能力。这种并行性旨在减少训练时间和资源消耗，从而解决当前分布式深度学习系统中存在的一些固有挑战。通过分析 FF 算法在分布式计算中的有效性，我们旨在展示其作为分布式深度学习系统中的一个具有变革性工具的潜力，提高训练效率。将 FF 算法集成到分布式深度学习中，代表了该领域的重要进展，有可能彻底改变在分布式环境中训练神经网络的方式。

    Mar, 2024

  • 自监督学习中正向正向算法的研究

    我们首次研究了自监督表征学习中前向 - 前向算法与反向传播的性能，并对所学到的表征空间提供了深入洞察。在四个标准数据集（MNIST，F-MNIST，SVHN 和 CIFAR-10）以及三种常用的自监督表征学习技术（旋转，翻转和拼图）上，我们进行了基准测试。我们的主要发现是，虽然前向 - 前向算法在（自）监督训练过程中表现与反向传播相当，但在所有研究的设置中，其迁移性能显著滞后。这可能是由于每个层有一个损失函数以及前向 - 前向范式中的监督训练方式等多种因素的组合导致的。与反向传播相比，前向 - 前向算法更加关注边界并丢弃了决策所不必要的信息，从而损害了表征学习目标。进一步的调查和研究对于稳定前向 - 前向策略以超越 Geoffrey Hinton 所展示的数据集和配置是必要的。

    Sep, 2023

  • 前前算法：一些初步探索

    介绍一种新的神经网络学习过程 —— 正向式算法，通过两次正向传递代替反向传播的前向和反向传递，并具有针对正数据具有高好度和负数据低好度的目标函数。

    Dec, 2022

  • 三种简单技术训练深层前向网络

    现代机器学习模型能在各种非平凡任务上超越人类，但随着模型复杂性的增加，它们消耗大量能源且难以有效地泛化到未见数据。本研究提出了三个简单技术的集合 The Trifecta，以极大地改善更深层网络上的 Forward-Forward 算法，并在简单数据集上通过能够局部层次地学习信息且保留其信息性的表征在更深层次结构中传播而实现了与基于反向传播的模型相当的训练速度和测试准确性，进而实现了 CIFAR-10 数据集上 84% 准确性的显著提升 (25%)。这些结果凸显了 Forward-Forward 作为反向传播的潜在竞争者和一个有前途的研究方向。

    Nov, 2023

  • 综合正向算法：将正向传递和浅层反向传播与局部损失相结合

    该研究比较了反向传播算法、前向 - 前向算法和提出的一个整合算法，并在 MNIST 数据库上进行了分类任务的测试，结果表明，使用提出的整合算法可以生成具有强健性等优势特征的神经网络。

    May, 2023

  • 改进的前向对比学习

    在这篇论文中，我们通过消除 Forward-Forward Continuous Learning (FFCL) 的最后两个阶段和完全去除常规的反向传播，而仅仅依靠本地更新来解决常规反向传播在生物大脑中的局限性，从而提出了一种更具生物可行性的学习方法。

    May, 2024

  • 前向 - 前向算法中的层次协作

    本研究探讨了前向传播算法中的层次协作，并提出了一种新的版本来支持层次协作，以更好地利用神经网络的结构，同时不需要任何额外的假设或计算。经验证明，所提出的版本对于同时考虑信息流和目标度量具有显著的效果，并且这种方法受到了函数熵理论的启发。

    May, 2023

  • 图神经网络的前向学习

    通过本文中提出的 ForwardGNN 算法，我们可以以一种新的前向学习方式来解决 BP 算法所带来的局限性，该算法扩展了原始的前向传播算法，使其适用于图数据和图神经网络，并且不再需要产生负输入数据，同时每个层可以从自下而上和自上而下的信号中学习，而不依赖于误差的后向传播。在实际数据集上进行的大量实验表明，这种前向图学习框架的有效性和普适性。

    Mar, 2024

  • 使用前向前向算法训练的网络中的紧急表示

    本研究中，作者探讨了一种名为 Forward-Forward 的训练神经网络的方法，与传统的 Backpropagation 背向算法相比，它采用了本地学习规则。作者通过实验发现，使用 Forward-Forward 算法进行训练所得到的神经网络内部表示可以组织成强健的、类别特定的合奏，并且由极少量的活跃单元（高稀疏度）组成，这与感官处理期间皮层表示的观察结果非常相似。这表明在模拟皮层学习方面，Forward-Forward 算法提出的学习过程比 Backpropagation 更优秀。

    May, 2023