ICCVOct, 2019

基于图像的神经形态视觉感知中的时空特征学习

PDF
TL;DR使用紧凑的图形表示和图卷积神经网络实现 end-to-end 的特征学习，以提高神经形态视觉感知技术在计算机视觉任务中的性能，尤其在行动识别方面表现出色。
neuromorphic vision sensinggraph representationfeature learningcomputer vision tasksaction recognition
发现论文，激发创造
  • 基于图像的神经形态视觉传感器对象分类

    本研究提出了一种新型的神经视觉感测器设备，可以实现更高效的事件采样率，更高的能量效率，更强的抗干扰性，同时提出了一种用于神经视觉感测器设备的紧凑图表征方法和残差图卷积神经网络架构，同时提出了一个大型的美国手语字母 NVS 数据集，用于复杂手语字母的识别任务。

    Aug, 2019

  • RN-Net: 储水池节点启用的神经形态视觉感知网络

    本文提出了一种基于简单卷积层的神经网络架构，结合低成本的动态时间编码水库节点，实现了异步时间特征的高效处理，并通过使用内部动态的自旋电阻器，在非常低的硬件成本下实现了异步时间特征编码。RN-Net 在 DVS128 手势数据集上取得了最高的 99.2% 的准确率，并且在较小的网络规模下，在 DVS Lip 数据集上实现了达到 67.5% 的准确率，且代码将公开发布。

    Mar, 2023

  • 基于图学习的神经形态成像和分类

    提出了一种新的图表示方法将事件数据与图转换器相结合，用于准确的神经形态分类任务。通过广泛实验表明，该方法在仅有少量事件和有限计算资源的困难真实场景中表现出优异效果，为嵌入移动设备的神经形态应用开辟了道路。

    Sep, 2023

  • 在神经形态摔倒检测和动作识别数据集上评估传统视觉模型

    提出针对神经形态感知相机的人体动作识别和跌倒检测数据集，使用先进视觉模型 Fine-tuned 的方法，各模型准确度分别为：DVS-MViT（0.958），DVS-C2D（0.916），DVS-R2+1D（0.875）和 DVS-SlowFast（0.833）。

    Jan, 2022

  • 通过势辅助的脉冲神经网络实现基于事件的视频重建

    本文提出了一种基于全脉冲神经网络 (SNN) 架构的事件相关视频重建框架 (EVSNN)，并采用 Leaky-Integrate-and-Fire (LIF) 神经元和自适应膜电位中间电位助推框架 (PA-EVSNN)，通过对事件相关图像信息的处理， 实现与基于人工神经网络（ANN）的模型相当的性能，而且在事件驱动硬件上具有更高的计算效率。

    Jan, 2022

  • SpikeNVS：通过 Spike 相机提高模糊图像的新视图合成

    通过使用脉冲相机设计的由 Spike 流重建纹理（TfS）损失函数来提高以神经辐射场（NeRF）和 3D 高斯喷洒（3DGS）为基础的新视角合成，将可获得尖锐的场景表示，同时降低训练成本。

    Apr, 2024

  • 基于图谱谱聚类的事件视觉移动物体检测

    本文提出了一种基于图谱谱聚类技术的无监督运动目标检测方法，可在事件数据中有效地检测运动目标。实验结果显示，该算法在公开数据集中的性能优于多种最先进的技术。

    Sep, 2021

  • Razor SNN：具有时态嵌入的高效脉冲神经网络

    通过全局时态嵌入动态机制扩展、特征重建和训练阶段适应性强调事件效应等，我们提出了一种称为 Razor SNN 的事件稀疏化尖峰框架，从而在四个基于事件的基准数据集上实现了竞争性的性能。

    Jun, 2023

  • 无监督学习分层脉冲神经网络用于光流估计：从事件到全局运动知觉

    本文提出了一种基于事件相机的分层尖峰神经网络结构，利用自适应神经元模型和稳定的 STDP 公式，实现了运动（方向和速度）选择的无监督特征提取和局部全局运动感知，验证了在合成和实际事件序列中具有生物视觉运动系统的主要属性，提供了一种能够加速大规模尖峰神经网络模拟的 cuSNN 库。

    Jul, 2018

  • 优化图表示以用于基于事件视觉的图卷积网络的硬件实现

    本文介绍了一个从事件相机数据流中生成图形的硬件实现过程，通过简化图形表示和使用值的缩放和量化的方法来改进图像检测性能，并提出了基于图形生成模块的硬件架构。

    Jan, 2024