Jun, 2024

CADE: 余弦退火差分进化用于尖峰神经网络

PDF
TL;DR通过引入余弦退火差分进化（CADE）方法，本论文尝试解决脉冲神经网络（SNNs）优化的挑战，通过调整差分进化（DE）的变异因子和交叉率来获得更好的收敛和准确性。使用基于迁移学习的初始化方法对 SNN 进行改进，进一步提高了 CADE 的性能。研究结果表明，F 和 CR 调整的调度器对于基于 DE 的 SNN 尤为重要。
spiking neural networkscosine annealing differential evolutiongradient-based methodsaccelerated convergencescheduler for f and cr adjustment
发现论文，激发创造
  • 脉冲神经网络中的深度剩余学习

    本文提出了基于 SEW ResNet 的残差学习算法来实现深度 SNNs 的直接训练，并通过在 ImageNet、DVS Gesture 和 CIFAR10-DVS 数据集上的实验表明 SEW ResNet 相对于目前最先进的神经网络直接训练方法在准确性和时间步长方面均有更好的表现。

    Feb, 2021

  • 持续演化的图神经控制微分方程用于交通预测

    提出了连续演化图神经控制微分方程（CEGNCDE）来同时捕捉连续的时间依赖关系和随时间演变的空间依赖关系，通过基于 NCDE 的连续演化图生成器（CEGG）来生成连续演化的离散历史观测下的空间依赖图，然后引入了图神经控制微分方程（GNCDE）框架来同时捕捉连续的时间依赖关系和空间依赖关系。大量实验表明，CEGNCDE 相较于现有方法平均减少了 2.34％的相对 MAE，0.97％的相对 RMSE 和 3.17％的相对 MAPE。

    Jan, 2024

  • 基于图神经网络控制微分方程的交通预测

    本文提出了一种基于神经网络控制微分方程的时空图神经控制微分方程（STG-NCDE）方法，将 NCDA 概念应用于时空序列数据的处理中，实验表明该方法在交通预测中表现良好且优于其他 20 种基准模型。

    Dec, 2021

  • 通过梯度重新加权实现脉冲神经网络的时间高效训练

    本文介绍了一种时间效率训练（TET）方法，以解决直接使用代理梯度进行训练的脉冲神经网络（SNNs）普遍存在的推广性差的问题，并且证明了该方法在各种数据集上超过了其他方法，尤其在 DVS-CIFAR10 上达到了 83% 的准确率，优于现有技术。

    Feb, 2022

  • 神经控制微分方程用于在线预测任务

    本文提出神经控制微分方程 (Neural CDE) 用于解释不规则时间序列的函数，同时研究了在连续监测过程中，如何解决实时在线预测的问题，本文提出的插值方案具有测量性和平滑性，并在 MIMIC-IV 医疗数据库上进行了实证测试，对于三个连续监测任务的准确性均有提升。

    Jun, 2021

  • 使用神经控制微分方程学习动态图嵌入

    研究动态图的表示学习，提出了 Graph Neural Controlled Differential Equation (GN-CDE) 模型，通过深度神经网络参量化向量场和交互导数，对节点嵌入轨迹的动态演化进行建模，实现了在动态演化的图上表达动态的能力。

    Feb, 2023

  • 神经 SDE 的高效准确梯度

    本文介绍了利用可逆且代数上可逆的 Heun 方法以及优化的布朗运动采样技术，加速求解反向 SDE 以训练神经 SDE 模型，并提出了用于 GAN 的训练技巧，实验表明我们的算法在速度和预测效果上超过了现有技术。

    May, 2021

  • 具有变点的神经随机微分方程：一种生成对抗方法

    提出一种基于神经随机微分方程的时间序列变点检测算法，该算法使用生成对抗网络框架下的神经随机微分方程模型，通过 GAN 鉴别器的输出在前向传递中检测变点，并通过交替更新来学习未知的变点和不同变点对应的神经随机微分方程模型的参数。结果表明，该方法在合成和实际数据集上的性能比经典变点检测基准、标准 GAN-based 神经随机微分方程模型和其他深度生成模型更好。

    Dec, 2023

  • 神经随机微分方程作为无限维生成对抗网络

    本文介绍了一种将传统经典方法与神经随机微分方程（SDEs）相结合的方法，作为连续生成时间序列模型，无需预设统计或密度功能即可适应任意漂移和扩散，其输入噪声为布朗运动，输出样本是由数值求解器产生的，可用于机器学习中的时间序列建模。

    Feb, 2021

  • 神经随机微分方程：用随机噪声稳定神经常微分方程网络

    本研究介绍了一种新型连续神经网络框架 Neural SDE，该框架自然地融合了基于随机噪声注入的各种常用正则化机制，可用于输入干扰和非对抗性扰动的鲁棒建模，并可实现更好的泛化性能和对抗性强化训练。

    Jun, 2019