本研究提出了一种名为 NoisyNet 的深度强化学习智能体，通过参数噪声的添加，可以有效地探索问题空间，在 Atari 游戏中，用 NoisyNet 替换传统的探索启发式方法后，智能体的分数得到了大幅提升，有些情况下，甚至可以达到超人类水平。

Jun, 2017

借鉴昆虫中的非脉冲神经元，我们提出了一种完全脉冲的演员网络 (ILC-SAN)，其中利用了神经形态硬件、脉冲神经网络和深度强化学习，旨在实现高效的人工智能控制任务。

Jan, 2024

本研究提出了噪声脉冲神经网络（NSNN）和噪声驱动学习规则（NDL），并将噪声引入到神经元动力学中，展示了噪声如何作为计算和学习的资源，并提供了一种理论框架。同时，NDL 提供了一个替代梯度的合理性解释。结合各种 SNN 体系结构和算法，我们的方法表现出了竞争性能和鲁棒性，同时还证明了 NSNN 模型在神经编码研究中的实用性。此外，NSNN 为机器学习从业者和计算神经科学研究人员提供了一个强大、灵活和易于使用的工具。

May, 2023

本研究提出了一种名为 DSQN 的深度尖峰 Q 网络，使用非尖峰神经元的膜电压作为 Q 值的表示，可以从高维度的感官输入中直接学习稳健的决策，并在 17 个 Atari 游戏中表现出优异的性能，具有更好的学习稳定性和对抗攻击鲁棒性。

Jan, 2022

该论文提出了一种新颖的脉冲神经网络 (SNN) 架构，用于解决具有实值观测的强化学习问题，该模型结合了多层事件驱动聚类、时序差分误差调节和资格迹，通过消融实验验证了这些组件对模型性能的显著影响，该网络在经典的强化学习环境中始终优于基于表格的方法，提供了更具硬件效率的强化学习解决方案的发展。

Jul, 2023

本文研究低延迟深度脉冲神经网络克服对抗攻击的训练算法，通过在输入层引入精心设计的噪声，已有的模型仅需进行微调即可达到防御攻击的效果，同时在分类性能、时延和计算能耗方面表现出色。

Oct, 2021

本文介绍了一种使用新颖代理梯度和可调谐自适应尖峰神经元的循环网络，将基于脉冲的神经网络的性能提高至具有挑战性的时间域基准的最新水平，并展示了这些 SNN 的计算效率比具有可比性能的 RNN 高出一到三个数量级，从而使 SNN 成为 AI 硬件实现的有吸引力的解决方案。

Mar, 2021

通过 Adaptive Coding Spiking Framework（ACSF）结合 Deep Reinforcement Learning 和 Spiking Neural Networks，实现了低延迟和高能效，并在强化学习中使用 ACSF 来估计值函数，并进行广泛的实验证明了该框架的有效性。

Nov, 2022

本文提出了一种新的基于脉冲神经网络的生成模型 ——SDDPM，通过仅使用 4 个时间步骤的纯脉冲 U-Net 体系结构，实现与其 ANN 模型的可比性能，从而充分利用脉冲神经网络的能源效率，并在 CIFAR-10 和 CelebA 数据集上实现了卓越的性能，是脉冲神经网络生成领域的重大进展。

Jun, 2023

通过检测静默网络并设计特定约束条件，我们能够实例化更大更灵活的搜索空间，从而加速 SNN 的搜索，并保持优化算法和最佳解决方案的良好性能。我们的方法还可以用于多目标问题，其中尽可能减少脉冲活动以降低能耗是常见的。在这种情况下，找到低脉冲和静默网络之间的微妙平衡至关重要。最后，我们的方法可能对神经架构搜索产生影响，特别是在定义合适的脉冲架构方面。

Mar, 2024