Jun, 2024

TRIP: 可训练的感兴趣区域预测技术，用于基于事件视觉的硬件高效神经形态处理

PDF
TL;DR本文提出了第一种硬件高效的基于神经形态处理器的硬注意力框架 Trainable Region-of-Interest Prediction (TRIP)，该框架通过利用稀疏事件的低信息密度来减少 ROI 预测的开销。在多个基于事件的分类数据集上，该方法达到了最先进的准确性，并在 DvsGesture 数据集上实现了 46 倍的计算量减少和更高的准确性，同时相比传统解决方案，在 SENECA 神经形态处理器上实现了超过 2 倍的延迟和能耗改进。
发现论文，激发创造
  • 一种低功耗的神经形态学方法实现高效眼动跟踪

    本文介绍了一种用于眼动追踪的神经形态学方法，利用由 Dynamic Vision Sensor（DVS）摄像头捕获的纯事件数据。该方法结合了一个经过直接训练的脉冲神经网络回归模型，并利用了一种先进的低功耗边缘神经形态学处理器 Speck，旨在提高眼动追踪系统的精确度和效率。

    Dec, 2023

  • NeuroCLIP: CLIP 和 SNN 辅助下的神经形态数据理解

    本研究提出了一种名为 NeuroCLIP 的新方法，通过将 Contrastive Vision-Language Pre-training（CLIP）的二维预训练知识转移到事件脉冲上，以实现对神经形态数据中 “未见过” 的对象的识别，同时提供了一个基于触发神经网络的逐时间步适配器，以提高 few-shot 分类效果。

    Jun, 2023

  • 基于神经形态学的自主无人机飞行视觉和控制

    通过第一次完全使用神经形态学视觉控制系统来自由控制飞行的实验，研究使用事件处理相机数据和脉冲神经网络实现无人驾驶和智能飞行机器人等基础任务的关键技术。

    Mar, 2023

  • RN-Net: 储水池节点启用的神经形态视觉感知网络

    本文提出了一种基于简单卷积层的神经网络架构，结合低成本的动态时间编码水库节点，实现了异步时间特征的高效处理，并通过使用内部动态的自旋电阻器，在非常低的硬件成本下实现了异步时间特征编码。RN-Net 在 DVS128 手势数据集上取得了最高的 99.2% 的准确率，并且在较小的网络规模下，在 DVS Lip 数据集上实现了达到 67.5% 的准确率，且代码将公开发布。

    Mar, 2023

  • 基于图学习的神经形态成像和分类

    提出了一种新的图表示方法将事件数据与图转换器相结合，用于准确的神经形态分类任务。通过广泛实验表明，该方法在仅有少量事件和有限计算资源的困难真实场景中表现出优异效果，为嵌入移动设备的神经形态应用开辟了道路。

    Sep, 2023

  • 通过势辅助的脉冲神经网络实现基于事件的视频重建

    本文提出了一种基于全脉冲神经网络 (SNN) 架构的事件相关视频重建框架 (EVSNN)，并采用 Leaky-Integrate-and-Fire (LIF) 神经元和自适应膜电位中间电位助推框架 (PA-EVSNN)，通过对事件相关图像信息的处理， 实现与基于人工神经网络（ANN）的模型相当的性能，而且在事件驱动硬件上具有更高的计算效率。

    Jan, 2022

  • 基于事件相机的物体识别的注意力机制

    本文提出了基于视觉关注的两种事件视觉注意力模型，一种通过跟踪视野内的事件活动来定位关注区域，另一种基于 DRAW 神经模型和全微分注意力程序，使用 Phased LSTM 识别网络作为基线参考模型并在四个数据集上进行验证，获得了在平移和尺度不变性方面的提升。

    Jul, 2018

  • 基于事件的视觉技术早期预测操纵动作

    该研究介绍了一种基于事件的数据集，用于细粒度操作动作的预测，使用的模型是基于事件进行在线推理的 Transformer 网络，该模型成功地预测了动作，并通过时间逐渐增加信心，达到了最先进的分类效果，并且优于基于视频的方法，适用于具有非常微妙差异的场景。同时，该研究还发布了第一个用于操作动作识别的事件数据集。

    Jul, 2023

  • CarSNN：一种基于 Loihi 神经形态研究处理器的事件驱动自主车辆的高效脉冲神经网络

    本文介绍了使用 SNN 和 DVS 结合的方式来实现基于事件的汽车分类器从而应用于自动驾驶，最终在 Intel Loihi 神经形态硬件上实现，并取得了最高 86% 的识别率和 310 mW 的低功耗。

    Jul, 2021

  • 机器人操纵中的避障神经形态学方法

    利用神经形态学处理器，通过对事件数据进行卷积脉冲神经网络处理、将神经激活解码为规避动作、并使用动态运动基元调整路径规划，我们开发了一种神经形态学方法来进行具有摄像头的机械手的避障。通过模拟和实际世界实验，我们的神经形态学方法在可靠避免即将发生的碰撞方面表现出色，并且能够适应轨迹调整而对安全和可预测性标准的影响较小，这些结果为引入 SNN 学习、利用神经形态学处理器以及进一步探索神经形态学方法的潜力提供了动力。

    Apr, 2024