May, 2023

脉冲神经网络的时间对比学习

PDF
TL;DR本研究提出了一种时域监督对比学习的方法，可以使神经网络在处理时间序列信息时具备低延迟和高性能，取得了 CIFAR-10、CIFAR-100 和 DVS-CIFAR10 等数据集的最新性能水平。
spiking neural networkstemporal-domain supervised contrastive learninglow latencyhigh performancestate-of-the-art performance
发现论文，激发创造
  • 谱时对比学习

    无监督学习与对比学习相结合的时间对比学习方法（STCL）基于谱分析来构建损失函数，利用示例数据的线性探测表现来评估图的谱特性。

    Dec, 2023

  • 时空元对比学习

    提出了一种新的空间 - 时间对比学习（CL4ST）框架，通过 STG 的扩充范式来编码稳健和可推广的 STG 表示，实验证明 CL4ST 在交通和犯罪预测方面明显优于各种最先进的基准模型。

    Oct, 2023

  • SpikeCLIP：对比性语言 - 图像预训练脉冲神经网络

    通过双步骤配准预训练与双损失微调，该研究介绍了一种名为 SpikeCLIP 的新框架，用于解决基于脉冲计算的两种模态之间的差异，结果表明 SNN 在多模态模型评估中显著减少能耗，并且在包含未在特定类别中预定义的类标签的图像分类任务中保持稳健的性能。

    Oct, 2023

  • 易于训练和稳健性能的时间编码深度脉冲神经网络

    本文研究了脉冲神经网络的训练方法，将其应用于 CIFAR10 和 ImageNet 数据集中，并采用量化和扰动方式增强其稳健性，最终证明了脉冲神经网络在实际应用中具有高性能和高能效的可行性。

    Sep, 2019

  • 脉冲神经网络结合课程学习策略的训练

    引入课程学习（Curriculum Learning）的 CL-SNN 模型旨在提高脉冲神经网络（Spiking Neural Networks）的生物学可行性，通过使用置信度感知损失来区分和处理具有不同难度级别的样本，模型自动减少难样本对参数优化的贡献，实验证明其有效性。

    Sep, 2023

  • 时间序列预测中构成良好对比学习的因素是什么？

    本文通过系统分析不同的自监督对比学习策略及变量间的相互作用，发现使用 Transformer 模型综合优化 Mean Squared Error (MSE) 损失和自监督对比学习 (SSCL) 是进行时间序列预测的最有效的方法，并可优化预测结果的准确性。

    Jun, 2023

  • STS-CCL：城市交通预测的时空同步上下文对比学习

    本文提出了一种基于空间 - 时间同步对比学习（STS-CCL）模型的高效方法，通过图数据的增强和同步对比模块实现了复杂的空间 - 时间表示的捕获，进而在交通预测任务中取得了优越的性能。

    Jul, 2023

  • 通过梯度重新加权实现脉冲神经网络的时间高效训练

    本文介绍了一种时间效率训练（TET）方法，以解决直接使用代理梯度进行训练的脉冲神经网络（SNNs）普遍存在的推广性差的问题，并且证明了该方法在各种数据集上超过了其他方法，尤其在 DVS-CIFAR10 上达到了 83% 的准确率，优于现有技术。

    Feb, 2022

  • 课程设计助力脉冲神经网络对时间序列进行分类

    利用课程学习设计一种名为 CSNN 的新方法，研究其对脉冲神经网络（SNNs）的作用，实验证明课程学习对 SNNs 的影响比 ANNs 更为积极，可以通过增加网络稀疏性、神经元的激活状态、抗噪能力和收敛速度来提高约 3% 的 SNNs 准确率。

    Dec, 2023

  • 具有自监督的情境化时空对比学习

    本文提出了一种基于上下文感知的时空对比学习（ConST-CL）的方法，该方法成功地实现了学习细粒度视频表示，利用区域预文本任务引导模型从一个视角到另一个视角转换，并整合整体和局部表示的并行学习过程。我们在多个数据集上评估了所学得的表示，并展示了 ConST-CL 在 6 个数据集上取得了具有竞争力的结果，包括 Kinetics，UCF，HMDB，AVA-Kinetics，AVA 和 OTB。

    Dec, 2021