本文提供了一种新的方法（parametric surrogate gradient），用于根据候选 SG 的形状来确定最优 surrogate gradient 参数，以及用于调整潜在偏移量的方法（PDA），以帮助 SNNs 在更少的时间步骤内实现最先进的性能，并成功应用于静态和动态数据集的模拟中。

Apr, 2023

本文阐述了训练脉冲神经网络时通常遇到的问题，并通过指导读者了解突触可塑性和数据驱动学习的关键概念，概述了现有方法并介绍了代理梯度方法，这是一种特别灵活和有效的克服上述挑战的方法。

Jan, 2019

使用随机梯度下降（SGD）算法对神经网络进行培训，研究表明 SGD 在优化高维度非凸成本函数方面比梯度下降（GD）算法更为有效。

Sep, 2023

本文介绍了一种时间效率训练（TET）方法，以解决直接使用代理梯度进行训练的脉冲神经网络（SNNs）普遍存在的推广性差的问题，并且证明了该方法在各种数据集上超过了其他方法，尤其在 DVS-CIFAR10 上达到了 83% 的准确率，优于现有技术。

Feb, 2022

本文通过在前馈网络中使用合成梯度来研究解耦神经接口 (DNIs)，证明了合成梯度对于神经网络的表示强度没有影响，并证明了它在线性和深度线性模型中的学习系统的收敛性，并揭示了使用合成梯度估计器来近似真实损失的机制，及其如何导致截然不同的分层表示。最后，还揭示了使用合成梯度与其他误差近似技术的关系，为相关讨论和比较提供了一种统一的语言。

Mar, 2017

通过替代传统的 LSTM，本文证明了用 spiking neural networks 采用 surrogate gradient method 算法进行训练可在连续语音识别任务中替代 LSTM，并表现出良好的性能和抗梯度爆炸问题的稳健性。

Dec, 2022

本文研究了神经网络训练中随机梯度噪声向量的分布，发现对于批量大小为 256 或以上的数据集和架构选择，分布最好可以用高斯分布来描述，解释了随机梯度下降在神经网络训练中比梯度下降更具普适性的原因。

Oct, 2019

研究使用 Guided Evolutionary Strategies 作为一种方法，来让优化过程中的代理梯度信息得到更优的利用，进而结合随机搜索来处理在机器学习等领域中出现的梯度无法被完全计算的问题。

Jun, 2018

本文提出了一种名为 AnnealSGD 的正则化随机梯度下降算法，可以通过对一个特定类别的深度网络的能量景观进行分析来获得启示，从而优化损失函数。

Nov, 2015

在神经进化（neuroevolution）中，我们提出了一种名为 NeuroLGP-SM 的方法，它利用表型距离向量和 Kriging Partial Least Squares（KPLS）作为代理模型，以高效准确地评估大型深度神经网络（DNNs）的适应度，并且相比其他方法具有竞争力或更好的结果和更高的能源效率。

Apr, 2024