Dec, 2023

一种低功耗的神经形态学方法实现高效眼动跟踪

PDF
TL;DR本文介绍了一种用于眼动追踪的神经形态学方法，利用由 Dynamic Vision Sensor（DVS）摄像头捕获的纯事件数据。该方法结合了一个经过直接训练的脉冲神经网络回归模型，并利用了一种先进的低功耗边缘神经形态学处理器 Speck，旨在提高眼动追踪系统的精确度和效率。
neuromorphic methodologyeye trackingdynamic vision sensorspiking neuron networkevent-based training
发现论文，激发创造
  • 与子流形稀疏 CNN 共同设计的亚毫秒延迟事件驱动眼动追踪系统

    基于眼动追踪技术和 FPGA 数据流加速器的稀疏卷积神经网络系统拥有优秀的性能度量指标。

    Apr, 2024

  • 在神经形态摔倒检测和动作识别数据集上评估传统视觉模型

    提出针对神经形态感知相机的人体动作识别和跌倒检测数据集，使用先进视觉模型 Fine-tuned 的方法，各模型准确度分别为：DVS-MViT（0.958），DVS-C2D（0.916），DVS-R2+1D（0.875）和 DVS-SlowFast（0.833）。

    Jan, 2022

  • 结合眼动跟踪、软件视网膜和深度学习的高效自我中心视觉感知

    本文介绍了利用生物学方法实现高效自我中心感知的持续性工作，将哺乳动物视网膜的空间变体成像结构与深度学习方法相结合，在控制眼动眼镜的凝视位置的情况下，我们演示了将图像预处理为因子 3 的 DCNN 输入，减少必需训练的时期并在 26,000 多个物体的图像库上训练和验证系统时可获得超过 98% 的分类准确率。

    Sep, 2018

  • EDeNN: 用于低延迟视觉的事件衰减神经网络

    利用事件相机的异步像素来开发新型神经网络在角速度回归和光流估计方面表现出最先进的性能。

    Sep, 2022

  • 通过势辅助的脉冲神经网络实现基于事件的视频重建

    本文提出了一种基于全脉冲神经网络 (SNN) 架构的事件相关视频重建框架 (EVSNN)，并采用 Leaky-Integrate-and-Fire (LIF) 神经元和自适应膜电位中间电位助推框架 (PA-EVSNN)，通过对事件相关图像信息的处理， 实现与基于人工神经网络（ANN）的模型相当的性能，而且在事件驱动硬件上具有更高的计算效率。

    Jan, 2022

  • RN-Net: 储水池节点启用的神经形态视觉感知网络

    本文提出了一种基于简单卷积层的神经网络架构，结合低成本的动态时间编码水库节点，实现了异步时间特征的高效处理，并通过使用内部动态的自旋电阻器，在非常低的硬件成本下实现了异步时间特征编码。RN-Net 在 DVS128 手势数据集上取得了最高的 99.2% 的准确率，并且在较小的网络规模下，在 DVS Lip 数据集上实现了达到 67.5% 的准确率，且代码将公开发布。

    Mar, 2023

  • 基于事件视频流的预测性时间注意力用于高效节能的情境感知

    基于人脑中的预测编码模型和期望抑制现象，我们提出了一种时间注意机制，通过控制相机的输出使其仅在无法很好预测的情况下注意到视觉事件，从而不仅减少了传感器 - 处理器接口的能耗，而且通过过滤噪声事件有效地减少了计算工作量，我们证明了这种预测注意机制可将相机和处理器之间的数据通信量减少 46.7％，处理器上的计算活动减少 43.8％。

    Feb, 2024

  • 眼动与低延迟脉冲神经网络的高能效视觉搜索

    通过实验证明人类视觉搜索行为并建立了第一个基于 SNN 的视觉搜索模型，该模型结合了人工视网膜结构与尖峰特征提取、记忆和注视决策模块，通过群体编码实现快速高效的注视决策，能够学习类似人类或接近最佳的凝视策略，在搜索速度和准确性方面优于人类，并通过短注视决策延迟和稀疏激活实现高能效性。这一工作将神经科学和机器学习中的视觉建模联系起来，并为开发更高能效的计算机视觉算法提供了启示。

    Oct, 2023

  • 一种基于视网膜的纹理重建采样方法

    本研究提出了一种类似视网膜神经信号处理的凹形采样方法，在只利用动态视觉传感器输出的脉冲信号的情况下实现视觉纹理重建，提出了三种针对高速运动和静止场景的脉冲流解码方法。与传统基于帧的相机和动态视觉传感器相比，该模型具有更好的图像质量和更高的灵活性，有可能改变需求大的机器视觉应用的构建方式。

    Jul, 2019

  • 一种高效的脉冲神经网络，在 Loihi 神经形态处理器上使用 DVS 摄像机识别手势

    本文介绍了第三代神经网络 —— 脉冲神经网络（Spiking Neural Networks，SNNs），阐述了它们与传统的深度神经网络（Deep Neural Networks，DNNs）相比的优点和特点，重点讨论了如何将经过训练的 DNNs 转换为 SNNs，并实现了在 Intel Loihi 芯片上实现 SNNs 的实时手势识别等应用。

    May, 2020