May, 2024

灵活高效的代理梯度建模与前向梯度注入

PDF
TL;DR本文介绍了一种替代方法，即前向梯度注入（FGI），用于在前向传递过程中将任意梯度形状直接注入计算图，证明了使用 FGI 相对于自定义向后传递方法在 SNNs 中使用 TorchScript 可以显著提高模型性能，并通过在 TorchScript 和 torch.compile 中对循环 SNNs 进行的一般性能研究结果补充，揭示了与纯 PyTorch 相比，训练速度可提高 7 倍以上，推理速度可提高 16 倍以上的潜力。
发现论文，激发创造
  • 正向梯度匹配反向传播？

    本研究提出了一种使用反馈获得的局部辅助网络实现前向梯度方法的优化方案，能够显著改善标准计算机视觉神经网络中前向梯度方法中由步长难以猜测所需付出的代价。

    Jun, 2023

  • 替代梯度设计

    本文探讨替代梯度训练在神经形态计算和处理器中的应用，提出了一种理论解决方案来减少寻找 SG 形状和初始值的需要，改善其精度表现，并支持低阻尼，高亮度和低尾部厚度。

    Feb, 2022

  • 通过全卷积和可微分前端与跳跃连接对梯度攻击表现出卓越的韧性的一个奇特案例

    通过使用前端增强神经模型，结合差分和完全卷积模型以及跳跃连接，该研究找到了一种对梯度攻击具有异常抵抗力的模型，并通过组合模型构成随机化集成以提高抵抗力，该方法对于展示模型的鲁棒性十分重要。

    Feb, 2024

  • 差分隐私联邦学习的高效语言模型架构

    通过修改递归神经网络中的 Sigmoid 和 Tanh 激活功能，我们提出了一个尺度不变的耦合输入遗忘门（SI CIFG）递归网络模型，该模型在大规模实验中收敛更快且性能更好，对于交叉设备联邦学习和具有差分隐私的联邦学习提供了改进的隐私效用权衡。

    Mar, 2024

  • 膜电位分布调整和参数化代理梯度在脉冲神经网络中的应用

    本文提供了一种新的方法（parametric surrogate gradient），用于根据候选 SG 的形状来确定最优 surrogate gradient 参数，以及用于调整潜在偏移量的方法（PDA），以帮助 SNNs 在更少的时间步骤内实现最先进的性能，并成功应用于静态和动态数据集的模拟中。

    Apr, 2023

  • 突触神经网络中的代理梯度学习

    本文阐述了训练脉冲神经网络时通常遇到的问题，并通过指导读者了解突触可塑性和数据驱动学习的关键概念，概述了现有方法并介绍了代理梯度方法，这是一种特别灵活和有效的克服上述挑战的方法。

    Jan, 2019

  • 图神经网络的前向学习

    通过本文中提出的 ForwardGNN 算法，我们可以以一种新的前向学习方式来解决 BP 算法所带来的局限性，该算法扩展了原始的前向传播算法，使其适用于图数据和图神经网络，并且不再需要产生负输入数据，同时每个层可以从自下而上和自上而下的信号中学习，而不依赖于误差的后向传播。在实际数据集上进行的大量实验表明，这种前向图学习框架的有效性和普适性。

    Mar, 2024

  • 理解合成梯度和解耦神经接口

    本文通过在前馈网络中使用合成梯度来研究解耦神经接口 (DNIs)，证明了合成梯度对于神经网络的表示强度没有影响，并证明了它在线性和深度线性模型中的学习系统的收敛性，并揭示了使用合成梯度估计器来近似真实损失的机制，及其如何导致截然不同的分层表示。最后，还揭示了使用合成梯度与其他误差近似技术的关系，为相关讨论和比较提供了一种统一的语言。

    Mar, 2017

  • 使用合成梯度的分离神经接口

    通过引入对神经网络图计算的未来模型，预测梯度和输入；实现神经网络各部分的解耦，异步更新；并对前馈模型、循环神经网络、分层 RNN 等进行了实验和验证。

    Aug, 2016

  • 通过梯度重新加权实现脉冲神经网络的时间高效训练

    本文介绍了一种时间效率训练（TET）方法，以解决直接使用代理梯度进行训练的脉冲神经网络（SNNs）普遍存在的推广性差的问题，并且证明了该方法在各种数据集上超过了其他方法，尤其在 DVS-CIFAR10 上达到了 83% 的准确率，优于现有技术。

    Feb, 2022