Feb, 2024

基于事件视频流的预测性时间注意力用于高效节能的情境感知

PDF
TL;DR基于人脑中的预测编码模型和期望抑制现象，我们提出了一种时间注意机制，通过控制相机的输出使其仅在无法很好预测的情况下注意到视觉事件，从而不仅减少了传感器 - 处理器接口的能耗，而且通过过滤噪声事件有效地减少了计算工作量，我们证明了这种预测注意机制可将相机和处理器之间的数据通信量减少 46.7％，处理器上的计算活动减少 43.8％。
dynamic vision sensorevent-driven neuromorphic processingoff-chip communicationtemporal attention mechanismpredictive attention
发现论文，激发创造
  • 基于事件的移动物体检测与跟踪

    本文提出了一种基于动态视觉传感器的异步相机的新颖跟踪算法，该算法可以在极低光和噪声条件下，无需任何外部传感器，且无需任何特征跟踪或显式光流计算即可检测和跟踪不同移动对象。

    Mar, 2018

  • V2CE: 视频到连续事件模拟器

    利用 Dynamic Vision Sensor（DVS）从多个角度进行视频到事件流转换的新方法，并通过严格的验证证明了其当前为最先进技术。

    Sep, 2023

  • 高分辨率事件相机行人检测

    本文研究使用事件相机结合深度学习进行行人检测任务，并比较了不同处理方法的效果，结果表明事件相机是解决现有问题的潜在技术。

    May, 2023

  • 事件相机的时间映射摄影

    该研究介绍了一种使用静止事件相机在静态场景中实现事件转换为密集强度图像的方法，并通过时间映射神经网络将时序矩阵转换为强度帧。实验证明该方法在动态范围、细节和灰度分辨率方面表现出卓越的性能，并比其他方法在下游计算机视觉任务上表现出更好的性能。

    Mar, 2024

  • DDD17: DAVIS 自动驾驶端到端数据集

    研究使用事件相机与主动像素传感器流进行端到端自动驾驶学习，提供了一种解决当前图像获取技术限制的方法，并使用卷积神经网络训练，该研究还提供了第一个标注的 DAVIS 驾驶记录开放数据集 DDD17。

    Nov, 2017

  • EV-SegNet：事件相机的语义分割

    本研究介绍了一种基于深度学习的事件相机语义分割方法，具有比基于灰度图的方法更好的性能，同时提出了一种新的事件相机数据表示方法，并描述了如何利用自动生成的近似语义分割标签对 DDD17 数据集进行训练，从而应对数据集标签不足的问题。

    Nov, 2018

  • 使用异步 “事件” 进行运动估计更好

    该论文介绍了一种基于神经网络的异步处理 Event-based Camera 事件流的方法，利用前一时刻的动态信息和灰度帧的关键特征，提取事件中的动态信息，相较现有同类研究结果表现优异。

    Apr, 2019

  • 在神经形态摔倒检测和动作识别数据集上评估传统视觉模型

    提出针对神经形态感知相机的人体动作识别和跌倒检测数据集，使用先进视觉模型 Fine-tuned 的方法，各模型准确度分别为：DVS-MViT（0.958），DVS-C2D（0.916），DVS-R2+1D（0.875）和 DVS-SlowFast（0.833）。

    Jan, 2022

  • 基于事件的稀疏事件补全的扩散 - 细化方法

    通过基于扩散的生成模型以及维护原始数据的时间分辨率等方法，我们提出了一种创新的事件序列补全方法，发掘事件相机的全部潜力，并生成高质量的密集事件，从而有利于目标分类和强度帧重建。

    Jan, 2024

  • 利用动态视觉传感器实现实时快速无人机检测

    本文介绍了一种嵌入式系统 F-UAV-D（Fast Unmanned Aerial Vehicle Detector），利用动态视觉传感器（DVS）作为实时低功耗配置中 RGB 摄像头的替代品，通过利用 DVS 的高动态范围（HDR）和背景抑制，在亚优化的环境条件下检测快速移动的无人机的性能优于 RGB 输入。

    Mar, 2024