Jun, 2022

TCJA-SNN: 面向脉冲神经网络的时域 - 通道联合注意力

PDF
TL;DR本论文提出了一种基于注意力机制的高效脉冲神经网络技术 —— 时间 - 通道联合注意 (TCJA) 架构单元，通过在空间和时间维度上有效地执行脉冲序列的相关性来实现更为数据有效的深度学习，运用压缩脉冲流，本地注意机制，1-D 卷积，交叉卷积融合等技术可以灵活地提取特征，同时，该方法在所有测试的静态和神经形态学数据集上的分类准确性 (SOTA) 最高可达 15.7%。
spiking neural networkstcjaattention mechanismsfeature extractionclassification accuracy
发现论文，激发创造
  • 基于时间关注机制的尖峰神经网络用于事件流分类

    该论文提出了一种基于时间注意力的尖峰神经网络模型来处理事件流，能够有效地提取时空特征，提高分类准确率。

    Jul, 2021

  • S3TC：使用无监督 STDP 基于学习的脉冲分离空时卷积进行动作识别

    使用无监督学习的脉冲分离空间和时间卷积（S3TCs）方法成功提取视频的时空信息，并超越脉冲三维卷积，在视频分析方面减少参数需求。

    Sep, 2023

  • SCA-CNN：用于图像字幕的卷积网络中的空间和通道注意力

    本文介绍了一种新的卷积神经网络 SCA-CNN，其中引入了空间和通道注意力，用于图像描述任务，结果表明 SCA-CNN 明显优于现有的基于视觉关注的图像描述方法。

    Nov, 2016

  • 基于并行时空注意力的 TCN 模型用于多元时间序列预测

    该论文介绍了一种新的框架 PSTA-TCN，该框架将并行时空关注机制与轴承温网络相结合，从而达到了更长的记忆，并且使用并行计算大大缩短了训练时间，可以更好地用于多元时间序列预测任务。

    Mar, 2022

  • 易于训练和稳健性能的时间编码深度脉冲神经网络

    本文研究了脉冲神经网络的训练方法，将其应用于 CIFAR10 和 ImageNet 数据集中，并采用量化和扰动方式增强其稳健性，最终证明了脉冲神经网络在实际应用中具有高性能和高能效的可行性。

    Sep, 2019

  • Joint A-SNN: 通过自蒸馏和权重分解联合训练人工神经网络和脉冲神经网络

    本文提出了一种人工神经网络和脉冲神经网络之间联合训练的框架，其中人工神经网络可以引导脉冲神经网络的优化。我们通过多个网络分支将人工神经网络中的知识提炼到脉冲神经网络中，并限制了两者的参数，分享部分参数和学习不同的独立权重。在多项广泛的网络结构实验中，我们的方法始终表现出色，超越了许多其他最先进的训练方法。例如，在 CIFAR100 分类任务中，我们的方法训练的脉冲 ResNet-18 模型只需要 4 个时间步，就可以达到 77.39％的 top-1 准确率。

    May, 2023

  • 脉冲神经网络的时间对比学习

    本研究提出了一种时域监督对比学习的方法，可以使神经网络在处理时间序列信息时具备低延迟和高性能，取得了 CIFAR-10、CIFAR-100 和 DVS-CIFAR10 等数据集的最新性能水平。

    May, 2023

  • MTSA-SNN：基于脉冲神经网络的多模态时间序列分析模型

    基于脉冲神经网络的多模态时间序列分析模型（MTSA-SNN）能够有效地分析复杂时间序列数据，并在多个任务中取得卓越性能。

    Feb, 2024

  • 随机尖峰注意力：在尖峰网络中利用随机计算加速注意力

    通过利用随机计算（SC）执行基于脉冲神经网络（SNN）的 Transformer 模型的点积注意力机制，实现高准确率和能源效率。

    Feb, 2024

  • CSA-Net：通道级空间自相关注意力网络

    该研究介绍了一种新颖的基于地理空间分析的通道相关的注意力机制，其能够在卷积神经网络中利用特征图之间的空间关系来产生有效的通道描述符，并验证了其在图像分类、目标检测和实例分割等多个任务和数据集上相对于其他先进的基于注意力的卷积神经网络的竞争性性能和优越性。

    May, 2024