TIPS: 任意时刻神经网络的拓扑重要路径采样
当前,脉冲神经网络因其对稀疏和二元脉冲信息的处理能力以及避免昂贵的乘法操作而引起了广泛研究兴趣。然而,如果使用 In-Memory Computing(IMC)架构,SNNs 的能量成本和延迟会随时间步数线性增长。因此,为了最大化 SNN 的效率,我们提出了一种基于动态时间步长的输入感知 SNN 算法,通过计算每个时间步长后输出的熵来动态确定时间步长的数量,从而实现将能量延迟产品降低 80%。
May, 2023
提出一种名为 TopSpark 的新方法,该方法利用自适应时间步长缩减来实现 Spiking 神经网络的能量有效处理,并在训练和推理中节省能量消耗。TopSpark 通过分析不同时间步长对精度的影响,确定在不同时间步长下对精度有显著影响的神经元参数,利用参数增强使 SNN 使用更少的尖峰活动有效执行学习和推理,并开发一种策略来平衡精度、延迟和能量需求。结果表明,TopSpark 平均节约 SNN 训练的延迟 3.9 倍,节约能源消耗 3.5 倍,推理节能 3.3 倍,同时保持精度与没有时间步长缩减的 SNN 相当。
Mar, 2023
使用新颖的空时正则化技术 Spatial-Temporal Regulariser(STR)开发的一种适应性时间步间隔的脉冲神经网络(Spiking Neural Network,SNN),通过在每个时间步中调整脉冲强度和膜电位之间的比例,有效平衡了训练过程中的空间和时间性能,最终实现了全时最优推理(Anytime Optimal Inference,AOI)SNN,在基于帧和事件的数据集上与 softmax 输出截断相结合,达到了最先进的延迟和准确性。
Apr, 2024
在本文中,我们提出了许多包容性的全新的 Thin Sub-networks 架构,并通过强制在多分支网络参数上施加某些稀疏模式来训练它们,实现更高效的任意时间预测。我们在 ImageNet 数据集上进行的实验表明,相对于同等准确性的任意时间模型,其子网络可减少高达 43.3%的大小(FLOPs)
Jul, 2018
通过从辅助预测中提取 “Anytime” 预测,优化自适应加权和的辅助损失,以平衡损失以相同的比例进行优化的神经网络。实验证明,采用自适应加权的任意神经网络(ANNs)可在较小的网络上比使用静态常数权重的大型网络更快地实现相同的准确性。
Aug, 2017
本文提出了一种称为 OTTT 的 SNN 在线训练方法,通过跟踪神经前体活动和利用瞬时损失和梯度来实现向前的时间学习,并理论分析证明了 OTTT 的梯度能够在前馈和递归条件下提供与基于脉冲表示的梯度相似的下降方向,同时避免了 BPTT 对 GPU 训练的巨大内存成本。
Oct, 2022
TriTPP 基于 normalizing flows 设计出的新的无序 TPP 模型,具有与基于 RNN 的方法相同的灵活性,但允许快速采样,可用于离散状态系统中的变分推断。在合成和现实世界数据集上展示了所提出框架的优点。
Jun, 2020
本研究提出了一种基于 Product-of-Experts 的修改方法,使得早期退出网络在计算过程中逐渐变得自信,并具有预测质量的条件单调性,从而在保持竞争力的前提下实现了真正的任意时间预测建模。
Jun, 2023
本文提出了一种综合性大规模实验研究,在系统评估现有神经 TPP 模型的预测准确性、事件编码等关键环节的影响基础上,深入分析了人们对这种模型标记分布不正确的情况存在的认识片面问题,并提供了有效的解决方案。
Jun, 2023
本文提出了一种基于局部表示对齐算法训练的并行时间神经编码网络 (P-TNCN),用以解决通过时间反向传播所存在的困难和问题,比如序列建模基准测试中表现优异,具有零 - shot 适应能力和在线连续序列建模的能力。
Oct, 2018