ICCVAug, 2019

基于图像的神经形态视觉传感器对象分类

PDF
TL;DR本研究提出了一种新型的神经视觉感测器设备，可以实现更高效的事件采样率，更高的能量效率，更强的抗干扰性，同时提出了一种用于神经视觉感测器设备的紧凑图表征方法和残差图卷积神经网络架构，同时提出了一个大型的美国手语字母 NVS 数据集，用于复杂手语字母的识别任务。
neuromorphic vision sensingasynchronous discrete eventsobject classificationconvolutional neural networksamerican sign language
发现论文，激发创造
  • 基于图像的神经形态视觉感知中的时空特征学习

    使用紧凑的图形表示和图卷积神经网络实现 end-to-end 的特征学习，以提高神经形态视觉感知技术在计算机视觉任务中的性能，尤其在行动识别方面表现出色。

    Oct, 2019

  • 基于图学习的神经形态成像和分类

    提出了一种新的图表示方法将事件数据与图转换器相结合，用于准确的神经形态分类任务。通过广泛实验表明，该方法在仅有少量事件和有限计算资源的困难真实场景中表现出优异效果，为嵌入移动设备的神经形态应用开辟了道路。

    Sep, 2023

  • 基于图谱谱聚类的事件视觉移动物体检测

    本文提出了一种基于图谱谱聚类技术的无监督运动目标检测方法，可在事件数据中有效地检测运动目标。实验结果显示，该算法在公开数据集中的性能优于多种最先进的技术。

    Sep, 2021

  • RN-Net: 储水池节点启用的神经形态视觉感知网络

    本文提出了一种基于简单卷积层的神经网络架构，结合低成本的动态时间编码水库节点，实现了异步时间特征的高效处理，并通过使用内部动态的自旋电阻器，在非常低的硬件成本下实现了异步时间特征编码。RN-Net 在 DVS128 手势数据集上取得了最高的 99.2% 的准确率，并且在较小的网络规模下，在 DVS Lip 数据集上实现了达到 67.5% 的准确率，且代码将公开发布。

    Mar, 2023

  • 在神经形态摔倒检测和动作识别数据集上评估传统视觉模型

    提出针对神经形态感知相机的人体动作识别和跌倒检测数据集，使用先进视觉模型 Fine-tuned 的方法，各模型准确度分别为：DVS-MViT（0.958），DVS-C2D（0.916），DVS-R2+1D（0.875）和 DVS-SlowFast（0.833）。

    Jan, 2022

  • 通过势辅助的脉冲神经网络实现基于事件的视频重建

    本文提出了一种基于全脉冲神经网络 (SNN) 架构的事件相关视频重建框架 (EVSNN)，并采用 Leaky-Integrate-and-Fire (LIF) 神经元和自适应膜电位中间电位助推框架 (PA-EVSNN)，通过对事件相关图像信息的处理， 实现与基于人工神经网络（ANN）的模型相当的性能，而且在事件驱动硬件上具有更高的计算效率。

    Jan, 2022

  • SpikeNVS：通过 Spike 相机提高模糊图像的新视图合成

    通过使用脉冲相机设计的由 Spike 流重建纹理（TfS）损失函数来提高以神经辐射场（NeRF）和 3D 高斯喷洒（3DGS）为基础的新视角合成，将可获得尖锐的场景表示，同时降低训练成本。

    Apr, 2024

  • 基于脉冲神经网络的汽车事件数据目标检测

    通过使用事件摄像头直接训练尖峰神经网络，以设计快速高效的汽车嵌入式应用程序，并且采用了最新的尖峰反向传播方法，成功地针对 GEN1 汽车检测事件数据集提出了尖峰神经网络实现目标检测的方法。

    May, 2022

  • 优化图表示以用于基于事件视觉的图卷积网络的硬件实现

    本文介绍了一个从事件相机数据流中生成图形的硬件实现过程，通过简化图形表示和使用值的缩放和量化的方法来改进图像检测性能，并提出了基于图形生成模块的硬件架构。

    Jan, 2024

  • NeuroCLIP: CLIP 和 SNN 辅助下的神经形态数据理解

    本研究提出了一种名为 NeuroCLIP 的新方法，通过将 Contrastive Vision-Language Pre-training（CLIP）的二维预训练知识转移到事件脉冲上，以实现对神经形态数据中 “未见过” 的对象的识别，同时提供了一个基于触发神经网络的逐时间步适配器，以提高 few-shot 分类效果。

    Jun, 2023