May, 2023

综合正向算法：将正向传递和浅层反向传播与局部损失相结合

PDF
TL;DR该研究比较了反向传播算法、前向 - 前向算法和提出的一个整合算法，并在 MNIST 数据库上进行了分类任务的测试，结果表明，使用提出的整合算法可以生成具有强健性等优势特征的神经网络。
发现论文，激发创造
  • 改进的前向对比学习

    在这篇论文中，我们通过消除 Forward-Forward Continuous Learning (FFCL) 的最后两个阶段和完全去除常规的反向传播，而仅仅依靠本地更新来解决常规反向传播在生物大脑中的局限性，从而提出了一种更具生物可行性的学习方法。

    May, 2024

  • 分布式深度学习中的前向 - 前向

    通过分布式计算环境中采用 Geoffrey Hinton 的 Forward-Forward（FF）算法来增强神经网络的训练，该论文介绍了一种新的分布式深度学习方法。该方法利用双向传递策略进行前向传递，与传统的前向和后向传递方法有显著的区别，与人脑的处理机制更加接近，可能提供更有效和符合生物学原理的神经网络训练方法。我们的研究探索了 FF 算法在分布式环境中的实现，重点关注其促进神经网络层的并行训练能力。这种并行性旨在减少训练时间和资源消耗，从而解决当前分布式深度学习系统中存在的一些固有挑战。通过分析 FF 算法在分布式计算中的有效性，我们旨在展示其作为分布式深度学习系统中的一个具有变革性工具的潜力，提高训练效率。将 FF 算法集成到分布式深度学习中，代表了该领域的重要进展，有可能彻底改变在分布式环境中训练神经网络的方式。

    Mar, 2024

  • 高光谱图像分类的前向算法：初步研究

    本研究探讨前向传递算法在高光谱图像分类中的应用，实验结果和比较分析表明该方法具有较大的潜力和优势，相较于传统反向传播算法可更好地克服初值敏感、梯度消失、过拟合和计算复杂度等问题。

    Jul, 2023

  • 使用前向 - 前向算法训练卷积神经网络

    探索了前馈算法在卷积神经网络中的应用，并使用新的标记技术，在 MNIST 手写数字数据集上实现了 99％的分类准确率，并比较了不同超参数对算法性能的影响。

    Dec, 2023

  • 前向学习中新兴的 NeoHebbian 动态：对神经形态计算的意义

    通过对神经计算的进一步研究，我们证明了当使用平方欧几里得范数作为驱动局部学习的好度函数时，Forward-Forward Algorithm（FFA）等同于新赫布学习规则，并通过比较两个版本的 FFA 在模拟网络和脉冲神经网络中的训练行为，证实了生物学习规则与当前使用的训练算法之间的关联，并为将 FFA 的积极结果推广到赫布学习规则铺平了道路。同时，我们的结果暗示在 FFA 下训练的模拟网络可以直接应用于神经形态计算，从而实现能源消耗的降低和计算速度的增加。

    Jun, 2024

  • 光学神经网络的前向 - 前向训练

    本文介绍了一种利用光学系统实现神经网络训练的新路径，该方法使用了 Forward-Forward Algorithm 和多模非线性波传播等技术来提高 NN 性能。

    May, 2023

  • 使用前向前向算法训练的网络中的紧急表示

    本研究中，作者探讨了一种名为 Forward-Forward 的训练神经网络的方法，与传统的 Backpropagation 背向算法相比，它采用了本地学习规则。作者通过实验发现，使用 Forward-Forward 算法进行训练所得到的神经网络内部表示可以组织成强健的、类别特定的合奏，并且由极少量的活跃单元（高稀疏度）组成，这与感官处理期间皮层表示的观察结果非常相似。这表明在模拟皮层学习方面，Forward-Forward 算法提出的学习过程比 Backpropagation 更优秀。

    May, 2023

  • 采用分层无监督学习减少前向算法中的数据和损失需求

    最近的深度学习模型，如 ChatGPT，利用反向传播算法展示出令人瞩目的性能。然而，生物大脑过程与反向传播算法之间的差异被注意到。为了解决这个问题，出现了纯正向传播算法，它只通过前向传递来训练深度学习模型。尽管由于必须使用特殊的输入和损失函数等局限性，纯正向传播算法不能取代反向传播，但它在反向传播难以使用的特殊情况下具有潜在的有用性。为了解决这个局限并验证可用性，我们提出了一种无监督的纯正向传播算法。使用无监督学习模型可以使用通常的损失函数和输入进行训练，没有限制。通过这种方法，我们实现了稳定的学习，并能够在不同的数据集和任务中实现多功能的应用。从可用性的角度来看，考虑到纯正向传播算法的特点和所提方法的优势，我们预计它在需要在物理分布环境中单独训练深度学习层的场景中实际应用，如联合学习。

    Apr, 2024

  • 三种简单技术训练深层前向网络

    现代机器学习模型能在各种非平凡任务上超越人类，但随着模型复杂性的增加，它们消耗大量能源且难以有效地泛化到未见数据。本研究提出了三个简单技术的集合 The Trifecta，以极大地改善更深层网络上的 Forward-Forward 算法，并在简单数据集上通过能够局部层次地学习信息且保留其信息性的表征在更深层次结构中传播而实现了与基于反向传播的模型相当的训练速度和测试准确性，进而实现了 CIFAR-10 数据集上 84% 准确性的显著提升 (25%)。这些结果凸显了 Forward-Forward 作为反向传播的潜在竞争者和一个有前途的研究方向。

    Nov, 2023

  • 图神经网络的前向学习

    通过本文中提出的 ForwardGNN 算法，我们可以以一种新的前向学习方式来解决 BP 算法所带来的局限性，该算法扩展了原始的前向传播算法，使其适用于图数据和图神经网络，并且不再需要产生负输入数据，同时每个层可以从自下而上和自上而下的信号中学习，而不依赖于误差的后向传播。在实际数据集上进行的大量实验表明，这种前向图学习框架的有效性和普适性。

    Mar, 2024