时序知识共享使脉冲神经网络能够从过去和未来学习
本研究提出了一种时域监督对比学习的方法,可以使神经网络在处理时间序列信息时具备低延迟和高性能,取得了 CIFAR-10、CIFAR-100 和 DVS-CIFAR10 等数据集的最新性能水平。
May, 2023
TiPNN 模型以历史时间图为基础,采用统一的图结构来全面捕捉和封装历史信息,并利用查询感知的时间路径模拟与查询相关的历史路径信息,从而实现对时间知识图的推理,并在归纳设置下取得显著性能提升。
Sep, 2023
本文介绍了一种时间效率训练(TET)方法,以解决直接使用代理梯度进行训练的脉冲神经网络(SNNs)普遍存在的推广性差的问题,并且证明了该方法在各种数据集上超过了其他方法,尤其在 DVS-CIFAR10 上达到了 83% 的准确率,优于现有技术。
Feb, 2022
脉冲神经网络 (SNNs) 通过事件驱动、低功耗特性和高生物解释性而引起了广泛关注。本文通过知识蒸馏 (KD) 提高了预训练教师模型的 SNN 模型性能,同时探索了一种经济高效的自我蒸馏学习方法,即时间 - 空间自我蒸馏 (TSSD) 学习方法。实验证明该方法在多个数据集上具有卓越的性能,为高性能 SNN 学习方法提供了新的融合思路。
Jun, 2024
本研究使用 NeuSTIP 的神经符号模型,结合时间间隔预测,实现时态知识图形完成。通过合理使用 Allen 谓词,独特的 scoring function 方法对候选答案进行评估,效果超出当前同类研究的表现。
May, 2023
提出了 Temporal Message Passing (TeMP) 框架,通过结合图神经网络、时间动力学模型、数据填充和基于频率的门控技术来解决时态知识图中缺失事实的问题,实验表明我们的方法相较于现有的方法提高了 10.7%的平均相对精度,并提出了几个简单却强大的基线模型在某些情况下可以超越现有的最佳结果。
Oct, 2020
本研究证明了在采用了时间编码方案的前馈脉冲网络中,网络输入 - 输出关系在几乎任何地方都是可微的,并且在变量转换后这种关系是分段线性的。此外,我们展示了通过该方法对项独立 MNIST 任务进行训练的结果,从而证明了训练人工神经网络的方法可以直接应用于训练这种脉冲网络。与基于速率的脉冲网络不同的是,我们所提出的网络的脉冲更为稀疏,且其行为不能直接由传统的人工神经网络来近似。这些结果强调了控制具有复杂时间信息的脉冲模式的脉冲网络行为的新方法。
Jun, 2016
使用时空图神经网络 (ST-GNN) 对实时交通数据建模,通过知识蒸馏 (KD) 提高 ST-GNN 在实时交通预测中的执行效率,使用剪枝算法和联合优化实现网络架构搜索和精调,评估结果表明,即使保留网络参数的仅 3%,我们的方法仍能使学生网络接近教师网络的准确性。
Jan, 2024
本研究基于神经脉冲网络中的超级脉冲非线性电压三因素学习规则,探究了不同信用分配策略对多层神经网络的表现,可促进神经脉冲网络的学习和计算方式的理解。
May, 2017
本文研究了脉冲神经网络的训练方法,将其应用于 CIFAR10 和 ImageNet 数据集中,并采用量化和扰动方式增强其稳健性,最终证明了脉冲神经网络在实际应用中具有高性能和高能效的可行性。
Sep, 2019