ICLRMar, 2024

图神经网络的前向学习

PDF
TL;DR通过本文中提出的 ForwardGNN 算法，我们可以以一种新的前向学习方式来解决 BP 算法所带来的局限性，该算法扩展了原始的前向传播算法，使其适用于图数据和图神经网络，并且不再需要产生负输入数据，同时每个层可以从自下而上和自上而下的信号中学习，而不依赖于误差的后向传播。在实际数据集上进行的大量实验表明，这种前向图学习框架的有效性和普适性。
graph neural networksbackpropagation algorithmforward-forward algorithmforwardgnnforward graph learning framework
发现论文，激发创造
  • 图神经网络前向传播的进展

    本文介绍了图正向正向（GFF）算法，它是一种扩展的前向前向算法，适用于处理分布在图节点上的特征，可以使用正向传递来训练图神经网络，而无需反向传输；其通过贪婪、逐层的方式将图神经网络层层训练，并使用正负样本，显示出比反向传播更加高效的计算优势。

    Feb, 2023

  • DFA-GNN: 直接反馈对齐的图神经网络的前向学习

    通过引入 DFA-GNN 方法以及伪误差生成器，本文提出了一种用于图神经网络的前向学习框架，通过优化网络的反馈链接，克服了 BP 算法的限制，并在半监督学习任务中展现了非常优异的鲁棒性。

    Jun, 2024

  • 改进的前向对比学习

    在这篇论文中，我们通过消除 Forward-Forward Continuous Learning (FFCL) 的最后两个阶段和完全去除常规的反向传播，而仅仅依靠本地更新来解决常规反向传播在生物大脑中的局限性，从而提出了一种更具生物可行性的学习方法。

    May, 2024

  • 使用前向 - 前向算法训练卷积神经网络

    探索了前馈算法在卷积神经网络中的应用，并使用新的标记技术，在 MNIST 手写数字数据集上实现了 99％的分类准确率，并比较了不同超参数对算法性能的影响。

    Dec, 2023

  • 双向传播推进的可扩展图神经网络

    本文介绍了一种名为 GBP 的可扩展的 GNN，使用本地化的双向传播过程来实现高效的训练与测试，理论分析表明其是第一种在预计算和训练阶段都实现了次线性时间复杂度的方法，并在大规模图上取得了最先进的性能。

    Oct, 2020

  • 分布式深度学习中的前向 - 前向

    通过分布式计算环境中采用 Geoffrey Hinton 的 Forward-Forward（FF）算法来增强神经网络的训练，该论文介绍了一种新的分布式深度学习方法。该方法利用双向传递策略进行前向传递，与传统的前向和后向传递方法有显著的区别，与人脑的处理机制更加接近，可能提供更有效和符合生物学原理的神经网络训练方法。我们的研究探索了 FF 算法在分布式环境中的实现，重点关注其促进神经网络层的并行训练能力。这种并行性旨在减少训练时间和资源消耗，从而解决当前分布式深度学习系统中存在的一些固有挑战。通过分析 FF 算法在分布式计算中的有效性，我们旨在展示其作为分布式深度学习系统中的一个具有变革性工具的潜力，提高训练效率。将 FF 算法集成到分布式深度学习中，代表了该领域的重要进展，有可能彻底改变在分布式环境中训练神经网络的方式。

    Mar, 2024

  • 图形算法的神经执行

    通过在算法空间中训练 Graph Neural Networks 来解决基于图结构的问题，使用基于最大化的信息传递神经网络来实现离散决策，同时实现了任务迁移并提升学习效果。

    Oct, 2019

  • 综合正向算法：将正向传递和浅层反向传播与局部损失相结合

    该研究比较了反向传播算法、前向 - 前向算法和提出的一个整合算法，并在 MNIST 数据库上进行了分类任务的测试，结果表明，使用提出的整合算法可以生成具有强健性等优势特征的神经网络。

    May, 2023

  • 前向学习中新兴的 NeoHebbian 动态：对神经形态计算的意义

    通过对神经计算的进一步研究，我们证明了当使用平方欧几里得范数作为驱动局部学习的好度函数时，Forward-Forward Algorithm（FFA）等同于新赫布学习规则，并通过比较两个版本的 FFA 在模拟网络和脉冲神经网络中的训练行为，证实了生物学习规则与当前使用的训练算法之间的关联，并为将 FFA 的积极结果推广到赫布学习规则铺平了道路。同时，我们的结果暗示在 FFA 下训练的模拟网络可以直接应用于神经形态计算，从而实现能源消耗的降低和计算速度的增加。

    Jun, 2024

  • 前前算法：一些初步探索

    介绍一种新的神经网络学习过程 —— 正向式算法，通过两次正向传递代替反向传播的前向和反向传递，并具有针对正数据具有高好度和负数据低好度的目标函数。

    Dec, 2022