这篇论文提出了一种专门为使用 Forward-Forward 算法训练的 DNN 设计的轻量级推理方案，并在 MNIST 和 CIFAR 数据集以及癫痫发作检测和心律失常分类等两个实际应用中进行了评估，证明了它的相关性。

Apr, 2024

物理神经网络（PNN）是一种利用物理系统特性进行计算的类神经网络，其有潜力在现代人工智能领域引发革新，尤其在训练大规模的 AI 模型以及探索新的训练技术方面尤为重要。

Jun, 2024

该研究论文提出了一种完全不需要使用反向传播的训练框架，通过引入压缩张量方差缩减方法和混合梯度评估方法，以及利用稀疏网格方法估计损失函数中的导数，该方法在训练规模和效率方面存在多个技术贡献，同时在 MNIST 数据集上与标准一阶训练相比，仅略有损失准确性，并成功地应用于物理建模相关的神经网络训练，这种无需反向传播的高效低内存方法有望在资源受限的平台上进行即将到来的设备端训练应用。

Aug, 2023

通过对 MNIST、CIFAR-10 和 ImageNet 数据集中的机器学习任务进行实验，我们提出和探究了目标传播和反馈对齐算法的变体，在全连接和局部连接的体系结构下，大部分算法都可以很好的完成 MNIST 数据集的任务。然而，我们发现在面对 CIFAR 和 ImageNet 数据集时，这些算法在局部连接的体系结构下表现不如反向传播算法，因此我们需要新的架构和算法来扩展这些方法。

Jul, 2018

通过引入一种新的无反向传播的方法，本研究提出了一个基于局部误差信号的块状神经网络，可以分别优化不同的子神经网络，并通过并行计算局部误差信号来加速权重更新过程，取得了比使用端到端反向传播和其他最先进的块状学习技术更好的性能，特别是在 CIFAR-10 和 Tiny-ImageNet 数据集上。

Dec, 2023

通过剪枝和迁移学习，我们提出了一种新颖的前馈神经网络构建方法，能在不损失准确率的情况下压缩参数数量超过 70%，并且通过精心选择剪枝参数，大多数精炼模型的性能优于原始模型，从而不仅有助于更高效的模型设计，而且更有效的使用。

Dec, 2023

通过最大化神经进化框架下人工神经网络模型的准确性和最小化功耗，本研究提出了一种新的变异策略，引入了模块层的随机重新引入，通过训练过程中同时训练两个模型以推动其中一个模型的功耗更低且准确性相似，结果表明功耗降低了 29.2%，但预测性能基本不受影响。

Jan, 2024

本篇论文介绍了一种名为 Event-Driven Random BP (eRBP) 规则的神经形态计算方法，可用于学习深度表示，其具有在神经形态硬件中实现的优势，并且与 GPU 上的人工神经网络模拟相比，分类准确性相近且在学习过程中鲁棒性较强。

Dec, 2016

最近的深度学习模型，如 ChatGPT，利用反向传播算法展示出令人瞩目的性能。然而，生物大脑过程与反向传播算法之间的差异被注意到。为了解决这个问题，出现了纯正向传播算法，它只通过前向传递来训练深度学习模型。尽管由于必须使用特殊的输入和损失函数等局限性，纯正向传播算法不能取代反向传播，但它在反向传播难以使用的特殊情况下具有潜在的有用性。为了解决这个局限并验证可用性，我们提出了一种无监督的纯正向传播算法。使用无监督学习模型可以使用通常的损失函数和输入进行训练，没有限制。通过这种方法，我们实现了稳定的学习，并能够在不同的数据集和任务中实现多功能的应用。从可用性的角度来看，考虑到纯正向传播算法的特点和所提方法的优势，我们预计它在需要在物理分布环境中单独训练深度学习层的场景中实际应用，如联合学习。

Apr, 2024

本研究提出了一种新的即时参数更新方法，通过消除每层计算梯度的需要来加速学习、避免梯度消失问题，并在基准数据集上优于最先进的方法，为高效有效的深度神经网络训练提供了一个有希望的方向。

Aug, 2023