- 梯形梯度下降法用于脉冲网络中的有效强化学习
基于梯形逼近梯度方法替代脉冲网络的改进算法在能耗、稳定学习状态、模型适应性和响应灵敏性等方面得出了较好的结果,相较于原算法具有更好的收敛速度和性能。
- SpikeZIP-TF:基于 Transformer 的 SNN 所需的转换
SpikeZIP-TF 是一种新的 ANN-to-SNN 转换方法,其 ANN 和 SNN 之间的等效性不会导致准确率降低,在 CV 和 NLP 任务上分别获得了 83.82% 和 93.79% 的准确率,优于目前最先进的基于 Transf - 脉冲神经网络自主驾驶
Spiking Autonomous Driving (SAD) 是第一个统一的脉冲神经网络(SNN),通过其以事件驱动和高效节能的特性来解决自主驾驶系统面临的能源挑战。通过感知、预测和规划三个主要模块,SAD 在感知、预测和规划任务上取得 - 直接训练需要正则化:任何时候最优推理脉冲神经网络
使用新颖的空时正则化技术 Spatial-Temporal Regulariser(STR)开发的一种适应性时间步间隔的脉冲神经网络(Spiking Neural Network,SNN),通过在每个时间步中调整脉冲强度和膜电位之间的比例, - ICLREventRPG: 基于关联传播指导的事件数据增强
提出了一种利用事件相机的脉冲神经网络生成稳定准确的类激活图和显著性图的关联传播方法,并基于此方法提出了 EventRPG,用于提高脉冲神经网络的数据增强效果,并在多个目标识别任务中取得了最新的对象识别准确率。
- 利用音乐语法基础激活构建音乐圆环的概念空间
通过运用音乐理论中的和弦进行规范,介绍了一种利用音乐语法调节脉冲神经网络激活的新方法,展示了某些激活自然地跟随其他激活,类似于吸引力的概念,通过调制键的概念在网络中导航不同的吸引盆地,并证明了我们模型中的概念图由音乐和声规则结构化,突显了在 - 基于 Metropolis-Hastings 采样的芯片内脉冲神经网络训练方法研究
本论文研究了 Metropolis-Hastings 采样在训练受强烈未知非理想化影响的脉冲神经网络(SNN)硬件中的应用,并将所提出的方法与在文献中广泛使用的误差反向传播(backprop)算法和替代梯度进行了比较。通过在芯片连环训练环境 - 面向脉冲神经网络的前向直接反馈对在线梯度估计的应用
在寻找与当前最先进的神经网络训练算法相比更节能的替代方法方面,有一种对脉冲神经网络的兴趣,因为它们可以在神经形态硬件平台上高效模拟能量。然而,这些平台在训练算法设计方面存在限制,最重要的是不能实现反向传播。本文提出了一种新颖的神经形态算法 - 平衡的共振 - 放火神经元
平衡 RF 神经元在循环脉冲神经网络中证明了其在各种序列学习任务中的有效性,其任务性能更高、产生的脉冲更少、所需参数更少,并且在训练过程中具有更快且更稳定的收敛速度。
- LM-HT SNN:通过可学习的多层次阈值模型增强 SNN 至 ANN 的性能
通过分析多阈值模型、简单尖峰模型和量化人工神经网络之间的关系,从数学角度提出了一种新颖的 LM-HT 模型,该模型是一个等距多层次模型,可以在时间维度上动态调节全局输入电流和膜电位漏电。我们注意到基于 LM-HT 模型的直接训练算法可以与传 - 利用低分辨率热成像相机及脉冲神经网络与稀疏分割实现资源高效的姿势识别
使用低分辨率 (24 x 32) 热传感器,结合脉冲神经网络、稀疏分割和基于特征的手势分类,提出了一种新颖的手势识别方法。与标准 RGB 摄像头相比,该系统对光照变化不敏感,且价格显著低于以往文献中使用的高频雷达、飞行时间摄像头和高分辨率热 - 基于实践学习的组合向量语义
提出了一种在脉冲神经网络结构中实现复合分布语义、解决概念绑定问题的方法,利用标记图像进行词向量训练。
- 回归捷径:缓解梯度消失以训练脉冲神经网络
该论文介绍了一种基于脉冲神经网络的快捷反向传播方法,用于解决梯度消失问题,并提出了一种进化训练框架,通过动态改变平衡系数来进一步提高网络性能。实验证明,该方法在静态和动态数据集上都优于现有方法。
- 脉冲神经网络中神经元的快速无梯度激活最大化
通过构建一个反馈循环并利用低秩张量分解技术,我们成功设计了一个快速高效的优化方法,用于激活最大化的神经网络,并在人工脉冲神经网络上成功测试。
- 大规模语言建模中星神经网络的天线细胞增强技术
脑部的神经结构复杂,星形胶质细胞在发育、结构和新陈代谢方面起着至关重要的作用。这些细胞通过三分神经突触调节神经活动,直接影响学习和记忆等认知过程。我们开发了一种称为 Astrocyte-Modulated Spiking Unit (AM- - AAAI三值尖峰:学习脉冲神经网络的三值尖峰
通过理论和实验证明,二进制尖峰激活图无法携带足够的信息,导致精度下降;为了解决这个问题,提出了一种三值尖峰神经元来传输信息,该神经元能够提高信息容量;通过在该神经元中嵌入可训练因子,使得深层 SNN 的尖峰幅度适应不同的膜电位分布;通过重新 - 稀疏 Spikformer:脉冲变换器的令牌和权重剪枝的协同设计框架
SparseSpikformer 是一种通过令牌和权重修剪技术实现稀疏性的共设计框架,可以显著减少模型参数 90%并减少 20%的 GFLOPs,同时保持原始模型的准确性。
- 脑启发式脉冲神经网络在工业故障诊断中的应用:调查、挑战与机遇
近几十年来,工业故障诊断(IFD)作为一门重要学科涉及检测和收集工业设备健康状况的关键信息,从而有助于识别故障类型和严重程度。由于精确有效的故障识别受到重视,自动化设备监控已成为焦点,以预防安全事故并减少对人力劳动的依赖。人工神经网络(AN - 基于张量分解的脉冲神经网络注意力模块
使用张量分解和线性投影的脉冲张量与注意力图融合模块提出了一种新的脉冲神经网络(SNN)模型,该模型在分类任务上达到了最先进的性能,并超过了基于 Transformer 和 CNN 的 SNN 模型。
- 眼动与低延迟脉冲神经网络的高能效视觉搜索
通过实验证明人类视觉搜索行为并建立了第一个基于 SNN 的视觉搜索模型,该模型结合了人工视网膜结构与尖峰特征提取、记忆和注视决策模块,通过群体编码实现快速高效的注视决策,能够学习类似人类或接近最佳的凝视策略,在搜索速度和准确性方面优于人类,