Apr, 2024

GRSN: 用于 POMDP 和 MARL 的门控递归脉冲神经元

PDF
TL;DR利用时间对齐范式 (TAP) 解决当前脉冲神经网络在增强学习中存在的时间不匹配问题，提高处理时间数据的能力，能在与递归神经网络 (RNNs) 相似性能下降低 50% 的电力消耗下解决部分可观测马尔科夫决策过程 (POMDPs) 和多智能体合作问题。
spiking neural networksreinforcement learningtemporal dynamicstemporal alignment paradigmpower consumption
发现论文，激发创造
  • 自适应脉冲循环神经网络精确高效的时间域分类

    本文介绍了一种使用新颖代理梯度和可调谐自适应尖峰神经元的循环网络，将基于脉冲的神经网络的性能提高至具有挑战性的时间域基准的最新水平，并展示了这些 SNN 的计算效率比具有可比性能的 RNN 高出一到三个数量级，从而使 SNN 成为 AI 硬件实现的有吸引力的解决方案。

    Mar, 2021

  • 一种神经形态学架构用于基于实数观测的强化学习

    该论文提出了一种新颖的脉冲神经网络 (SNN) 架构，用于解决具有实值观测的强化学习问题，该模型结合了多层事件驱动聚类、时序差分误差调节和资格迹，通过消融实验验证了这些组件对模型性能的显著影响，该网络在经典的强化学习环境中始终优于基于表格的方法，提供了更具硬件效率的强化学习解决方案的发展。

    Jul, 2023

  • 多时间尺度脉冲循环神经网络的高效计算

    该研究介绍了一种新型自适应尖峰循环神经网络，能够在边缘人工智能硬件上实现比其他尖峰神经网络更高的性能，几乎达到或超过经典递归神经网络的性能，并展示了在更难的任务上超过经典递归神经网络的 $>$100 倍能量改进。

    May, 2020

  • 脉冲神经网络 -- 第二部分：检测时空模式

    本文从认知神经科学方面入手，分析了 Spiking Neural Networks 这种新型生物神经样本学习 / 数据处理模型在模型、训练算法上面的优点和缺点，其中使用了概率模型和时间反向传播算法解决了部分难点，最后在神经元数据集上进行了对比实验.

    Oct, 2020

  • 完全脉冲行动者网络带有层内连接的强化学习

    借鉴昆虫中的非脉冲神经元，我们提出了一种完全脉冲的演员网络 (ILC-SAN)，其中利用了神经形态硬件、脉冲神经网络和深度强化学习，旨在实现高效的人工智能控制任务。

    Jan, 2024

  • 脉冲 Q 学习的深度强化学习

    本研究提出了一种名为 DSQN 的深度尖峰 Q 网络，使用非尖峰神经元的膜电压作为 Q 值的表示，可以从高维度的感官输入中直接学习稳健的决策，并在 17 个 Atari 游戏中表现出优异的性能，具有更好的学习稳定性和对抗攻击鲁棒性。

    Jan, 2022

  • 使用生物合理奖励传播调整卷积脉冲神经网络

    该论文提出一种基于奖励传播的算法，该算法应用于脉冲神经网络（SNN）架构中的脉冲卷积和全连接层，该算法能够替代标准反向传播算法，实现对 SNN 的训练。使用该算法的 SNN 在空间和时间任务上的表现已经得到验证，达到了 BP-SNN 的类似准确度并节省了 50％的计算成本。

    Oct, 2020

  • 用于深度分布式强化学习的多区室神经元和群体编码优化的脉冲神经网络

    通过结合生物启发式多室神经元模型和群编码方法，提出基于突触前神经元的深度分布式强化学习算法，其在 Atari 游戏上的表现超过了 “vanilla” 的基于 ANN 的 FQF 模型和基于 ANN-SNN 转换方法的 Spiking-FQF 模型。

    Jan, 2023

  • 梯形梯度下降法用于脉冲网络中的有效强化学习

    基于梯形逼近梯度方法替代脉冲网络的改进算法在能耗、稳定学习状态、模型适应性和响应灵敏性等方面得出了较好的结果，相较于原算法具有更好的收敛速度和性能。

    Jun, 2024

  • 使用优化效率和最小延迟的通用脉冲神经网络训练

    提出了一个通用的训练框架，提高了有限时间步长内特征学习和激活效率，为更节能的 SNN 提供了新的解决方案。

    Jan, 2024