ICLROct, 2023

前前向算法中的睡眠剥夺

PDF
TL;DR本文从生物角度探索了在睡眠背景下，正向 - 正向算法中两个正向传递的分离，并展示了睡眠和清醒阶段间的差距大小对算法的学习能力产生的影响，同时强调了消除睡眠剥夺的破坏性影响的负面数据的重要性。
发现论文，激发创造
  • 前前算法：一些初步探索

    介绍一种新的神经网络学习过程 —— 正向式算法，通过两次正向传递代替反向传播的前向和反向传递，并具有针对正数据具有高好度和负数据低好度的目标函数。

    Dec, 2022

  • 数据有限或不平衡时，类似睡眠的无监督重播改善性能

    研究表明，在训练数据有限或不平衡的情况下，通过添加睡眠阶段可以提高人工神经网络在 MNIST 和 Fashion MNIST 数据集上的准确性，指出睡眠期间潜在的突触权重动态策略在训练数据受限或不平衡时有助于增强记忆表现。

    Feb, 2024

  • 分布式深度学习中的前向 - 前向

    通过分布式计算环境中采用 Geoffrey Hinton 的 Forward-Forward（FF）算法来增强神经网络的训练，该论文介绍了一种新的分布式深度学习方法。该方法利用双向传递策略进行前向传递，与传统的前向和后向传递方法有显著的区别，与人脑的处理机制更加接近，可能提供更有效和符合生物学原理的神经网络训练方法。我们的研究探索了 FF 算法在分布式环境中的实现，重点关注其促进神经网络层的并行训练能力。这种并行性旨在减少训练时间和资源消耗，从而解决当前分布式深度学习系统中存在的一些固有挑战。通过分析 FF 算法在分布式计算中的有效性，我们旨在展示其作为分布式深度学习系统中的一个具有变革性工具的潜力，提高训练效率。将 FF 算法集成到分布式深度学习中，代表了该领域的重要进展，有可能彻底改变在分布式环境中训练神经网络的方式。

    Mar, 2024

  • 综合正向算法：将正向传递和浅层反向传播与局部损失相结合

    该研究比较了反向传播算法、前向 - 前向算法和提出的一个整合算法，并在 MNIST 数据库上进行了分类任务的测试，结果表明，使用提出的整合算法可以生成具有强健性等优势特征的神经网络。

    May, 2023

  • 使用前向前向算法训练的网络中的紧急表示

    本研究中，作者探讨了一种名为 Forward-Forward 的训练神经网络的方法，与传统的 Backpropagation 背向算法相比，它采用了本地学习规则。作者通过实验发现，使用 Forward-Forward 算法进行训练所得到的神经网络内部表示可以组织成强健的、类别特定的合奏，并且由极少量的活跃单元（高稀疏度）组成，这与感官处理期间皮层表示的观察结果非常相似。这表明在模拟皮层学习方面，Forward-Forward 算法提出的学习过程比 Backpropagation 更优秀。

    May, 2023

  • 自监督学习中正向正向算法的研究

    我们首次研究了自监督表征学习中前向 - 前向算法与反向传播的性能，并对所学到的表征空间提供了深入洞察。在四个标准数据集（MNIST，F-MNIST，SVHN 和 CIFAR-10）以及三种常用的自监督表征学习技术（旋转，翻转和拼图）上，我们进行了基准测试。我们的主要发现是，虽然前向 - 前向算法在（自）监督训练过程中表现与反向传播相当，但在所有研究的设置中，其迁移性能显著滞后。这可能是由于每个层有一个损失函数以及前向 - 前向范式中的监督训练方式等多种因素的组合导致的。与反向传播相比，前向 - 前向算法更加关注边界并丢弃了决策所不必要的信息，从而损害了表征学习目标。进一步的调查和研究对于稳定前向 - 前向策略以超越 Geoffrey Hinton 所展示的数据集和配置是必要的。

    Sep, 2023

  • 采用分层无监督学习减少前向算法中的数据和损失需求

    最近的深度学习模型，如 ChatGPT，利用反向传播算法展示出令人瞩目的性能。然而，生物大脑过程与反向传播算法之间的差异被注意到。为了解决这个问题，出现了纯正向传播算法，它只通过前向传递来训练深度学习模型。尽管由于必须使用特殊的输入和损失函数等局限性，纯正向传播算法不能取代反向传播，但它在反向传播难以使用的特殊情况下具有潜在的有用性。为了解决这个局限并验证可用性，我们提出了一种无监督的纯正向传播算法。使用无监督学习模型可以使用通常的损失函数和输入进行训练，没有限制。通过这种方法，我们实现了稳定的学习，并能够在不同的数据集和任务中实现多功能的应用。从可用性的角度来看，考虑到纯正向传播算法的特点和所提方法的优势，我们预计它在需要在物理分布环境中单独训练深度学习层的场景中实际应用，如联合学习。

    Apr, 2024

  • 轻量级前向训练算法推理

    这篇论文提出了一种专门为使用 Forward-Forward 算法训练的 DNN 设计的轻量级推理方案，并在 MNIST 和 CIFAR 数据集以及癫痫发作检测和心律失常分类等两个实际应用中进行了评估，证明了它的相关性。

    Apr, 2024

  • 使用延迟反馈的前馈优化神经网络

    研究提出了一种名为 Feed-Forward with delayed Feedback (F$^3$) 的算法，它有效地解决了权重传输和更新锁定等核心问题，实现了生物合理性和计算效率，将生物合理性算法和反向传播算法之间的预测性能差距降低了 96%，为低能耗训练和并行化开辟了新的前景。

    Apr, 2023

  • 唤醒 - 睡眠综合学习

    利用 “Wake-Sleep Consolidated Learning” 学习策略，结合互补学习系统理论和人脑清醒 - 睡眠阶段，提高深度神经网络在连续学习环境下进行视觉分类任务的性能。

    Dec, 2023