Nov, 2023

脉冲神经网络在视觉地点识别中的应用

PDF
TL;DR在机器人领域，脉冲神经网络（SNNs）在神经元形态硬件上的实现为其高效能源、低延迟带来了巨大的潜力。我们的论文着重介绍了 SNN 在视觉场所识别（VPR）中的三个创新。首先，我们提出模块化 SNN，每个 SNN 代表一组非重叠的地理位置，为大型环境提供可扩展的网络。其次，我们提出模块化 SNN 集合，多个网络代表同一地点，与单一网络模型相比显著提高了准确性。我们的 SNN 非常紧凑且小巧，仅含有 1500 个神经元和 474k 个突触，因此非常适合进行集合操作。最后，我们研究了序列匹配在基于 SNN 的 VPR 中的作用，这是一种使用连续图像进行场所识别的技术。我们分析了 SNN 对集合操作和序列匹配的响应性，并与其他 VPR 技术进行了比较。我们的贡献突出了 SNN 在 VPR 中的可行性，提供了可扩展和稳健的解决方案，为其在各种对能源敏感的机器人任务中的应用铺平了道路。
发现论文，激发创造
  • 超越分类：直接训练脉冲神经网络实现语义分割

    本论文探讨了脉冲神经网络在语义分割方面的应用，通过替代全连接层和使用替代梯度学习方法，将基本的全卷积网络和 DeepLab 架构重构为 SNN 域的网络。实验表明，相较于 ANN 网络，SNN 网络在这个领域更加稳健和节能。

    Oct, 2021

  • 深入探究脉冲神经网络：VGG 和残差结构

    本研究提出一种新颖算法技术生成深度架构的 Spiking Neural Networks，此算法应用于 VGG 和 Residual 网络架构并在 CIFAR-10 和 ImageNet 等图像识别问题上取得了显著的准确率提高，同时证明在 spiking 领域内的稀疏 event-driven 计算可减少硬件开销。

    Feb, 2018

  • 可视化位置识别的低比特量化神经网络的设计空间探索

    通过研究紧凑卷积网络架构和后训练量化对视觉地点识别（VPR）性能的影响，我们不仅通过 recall@1 分数测量性能，还测量内存消耗和延迟，为受资源限制的 VPR 系统提供了设计建议。

    Dec, 2023

  • 深度脉冲神经网络模式识别的渐进串联学习

    本文提出了一种称为渐进串联深度 SNN 的 ANN 到 SNN 的转换和分层学习框架，该框架利用脉冲计数以逼近模拟神经元的激活值，以及一种适应性训练调度器细化网络权重，其在大规模物体识别、图像重建和语音分离任务中能够展示出出色的分类和回归能力，同时需要的推理时间和突触操作比其他最先进的 SNN 实现少了至少一个数量级，因此它为功率有限的移动和嵌入式设备提供了无数机会。

    Jul, 2020

  • 自适应脉冲循环神经网络精确高效的时间域分类

    本文介绍了一种使用新颖代理梯度和可调谐自适应尖峰神经元的循环网络，将基于脉冲的神经网络的性能提高至具有挑战性的时间域基准的最新水平，并展示了这些 SNN 的计算效率比具有可比性能的 RNN 高出一到三个数量级，从而使 SNN 成为 AI 硬件实现的有吸引力的解决方案。

    Mar, 2021

  • 脉冲神经网络 -- 第二部分：检测时空模式

    本文从认知神经科学方面入手，分析了 Spiking Neural Networks 这种新型生物神经样本学习 / 数据处理模型在模型、训练算法上面的优点和缺点，其中使用了概率模型和时间反向传播算法解决了部分难点，最后在神经元数据集上进行了对比实验.

    Oct, 2020

  • 基于 Spatio-Semantic ConvNet 的视觉地点识别

    该研究提出了一种采用卷积神经网络（VGG16）的激活层对地点图像进行编码的视觉地点识别系统。该系统采用了类似于图像检索流程的两阶段方法，并在第二阶段使用 CNN 特征来编码语义和空间信息，其效果在常见基准数据集上明显优于其他方法。

    Sep, 2019

  • 基于脉冲神经网络的汽车事件数据目标检测

    通过使用事件摄像头直接训练尖峰神经网络，以设计快速高效的汽车嵌入式应用程序，并且采用了最新的尖峰反向传播方法，成功地针对 GEN1 汽车检测事件数据集提出了尖峰神经网络实现目标检测的方法。

    May, 2022

  • SeqNet: 基于序列的分层地点识别描述符学习

    本文提出一种新型混合系统，使用 SeqNet 生成临时描述符，并结合单图片学习描述符进行选择性控制序列得分汇总，以创建高性能初始匹配假设生成器，进而在挑战性基准数据集上达到超越现有最先进方法的效果。

    Feb, 2021

  • 一种支持新兴神经编码的资源高效脉冲神经网络加速器

    该研究提出了一种新型硬件体系结构，可支持具有新型神经编码的 SNN，并在 FPGA 上对 VGG 神经网络模型进行了部署，从而实现了 25％的功耗和 90％的延迟改善。

    Jun, 2022