探索了前馈算法在卷积神经网络中的应用，并使用新的标记技术，在 MNIST 手写数字数据集上实现了 99％的分类准确率，并比较了不同超参数对算法性能的影响。

Dec, 2023

该研究论文介绍了一种名为 “Forward Forward 算法” 的新颖神经网络训练方法，通过在 MNIST 和 IMDb 数据集上的实验拓展了该方法的应用范围，并提出了一种使用金字塔优化策略的阈值设定方法。实验结果表明，该方法在电影评论情感分析任务中取得了令人满意的性能，并通过可视化参数的分析揭示了一些重要洞察，例如，Forward Forward 网络所获得的权重的平均值和方差明显较大。

Jul, 2023

本文介绍了使用对抗训练算法来提高神经网络的鲁棒性，并且验证了该方法适用于各种不同类型的神经网络，通过实验证明对抗反向传播是一种有效的正则化方法。

Oct, 2015

通过 Meta-Experience Replay 算法，在经验回放的基础上进行基于元学习的优化，实现了对未来渐变更少的干扰和更多的知识迁移。在多个领域的实验中，该方法优于目前的基准算法。

Oct, 2018

本文提出了 YOPO 算法作为一种对抗训练的新方法，其将对抗训练视为一个离散时间微分博弈，并通过分析发现，对手的更新仅与网络的第一层参数相关。这启发我们在对手的更新过程中将大部分的前向和后向传播限制在网络的第一层内，这有效地减少了每组对手更新的完全前向和后向传播的总数，因此 YOPO 算法的计算复杂度较低，且可以取得与投影梯度下降算法（PGD）相当的防御精度。

May, 2019

通过分布式计算环境中采用 Geoffrey Hinton 的 Forward-Forward（FF）算法来增强神经网络的训练，该论文介绍了一种新的分布式深度学习方法。该方法利用双向传递策略进行前向传递，与传统的前向和后向传递方法有显著的区别，与人脑的处理机制更加接近，可能提供更有效和符合生物学原理的神经网络训练方法。我们的研究探索了 FF 算法在分布式环境中的实现，重点关注其促进神经网络层的并行训练能力。这种并行性旨在减少训练时间和资源消耗，从而解决当前分布式深度学习系统中存在的一些固有挑战。通过分析 FF 算法在分布式计算中的有效性，我们旨在展示其作为分布式深度学习系统中的一个具有变革性工具的潜力，提高训练效率。将 FF 算法集成到分布式深度学习中，代表了该领域的重要进展，有可能彻底改变在分布式环境中训练神经网络的方式。

Mar, 2024

本研究通过发现深度神经网络训练中的隐性偏差（如频率规则）来理解为何带有更多参数的深度神经网络通常可以很好地泛化；通过为两层 ReLU 神经网络显式化这种隐性偏差，提出了一种基于频率规则动力学的模型，解释了学习的结果并提供了一个可以先验估计泛化误差上界的最优化公式。

May, 2019

本研究提供了首次关于科学发现模型对抗鲁棒性的研究，通过在指定模型上生成敌对性的样本数据，我们发现模型的鲁棒性随着扰动水平的增加而迅速下降，这为评估基于机器学习的科学发现模型提供了敏感性分析工具和评估原则。

Apr, 2022

通过对神经计算的进一步研究，我们证明了当使用平方欧几里得范数作为驱动局部学习的好度函数时，Forward-Forward Algorithm（FFA）等同于新赫布学习规则，并通过比较两个版本的 FFA 在模拟网络和脉冲神经网络中的训练行为，证实了生物学习规则与当前使用的训练算法之间的关联，并为将 FFA 的积极结果推广到赫布学习规则铺平了道路。同时，我们的结果暗示在 FFA 下训练的模拟网络可以直接应用于神经形态计算，从而实现能源消耗的降低和计算速度的增加。

Jun, 2024

本文提出了一种用于评估内部最大值的解决方法 ——FOSC，以量化评估在内部最大化期间找到的对抗性例子的收敛质量，结果表明，在训练后期使用收敛质量更好的对抗性例子是确保更好的稳健性所必需的，而在训练初期，高收敛质量的对抗性例子则并不是必需的，甚至可能导致差的鲁棒性，因此，我们提出了一种渐进式的动态训练策略，逐步提高生成的对抗性例子的收敛质量，从而显著提高了对抗训练的鲁棒性。

Dec, 2021