ICMLJul, 2024

基于梯度下降的神经元动力学:超越 ReLU 网络的 ANN 到 SNN 转换

TL;DR离散动力学的一个新的优化理论视角证明了一个基本的集成和发射模型的离散动力系统能够近似于无约束优化问题的次梯度方法,这一理论的实际扩展引入了一种基于符号梯度下降的神经元动力学,可以近似于 ReLU 之外的多种非线性并提高 ANN 到 SNN 转换性能。通过在大型数据集上的实验证明,我们的技术在 ANN 到 SNN 的转换中取得了最先进的性能,并且首次转换了新的 DNN 架构,例如 ConvNext、MLP-Mixer 和 ResMLP。