EDeNN: 用于低延迟视觉的事件衰减神经网络
本研究提出了 EventNet,一种基于新型视觉传感器的神经网络,旨在实时处理异步事件流,并采用了新的时间编码方案来建模输出对数万个因果事件的依赖关系,同时在标准 CPU 上每秒处理百万个事件,通过实验验证了该框架的实时性和稳健性。
Dec, 2018
Ev-Edge 是一个框架,通过三项关键优化技术提高边缘平台上基于事件的视觉系统的性能,包括将事件流转换为稀疏帧、动态稀疏帧聚合和网络映射。在多种自主导航任务中,Ev-Edge 相较于 NVIDIA Jetson Xavier AGX 平台上全 GPU 实现的单任务执行中具有 1.28 倍至 2.05 倍的延迟改进和 1.23 倍至 2.15 倍的能源改进,也相较于循环调度方法在多任务执行场景下具有 1.43 倍至 1.81 倍的延迟改进。
Mar, 2024
本文介绍了将事件流转化成基于网格的表示的通用框架,其具有两个主要优势:(i)允许端到端学习输入事件表示,(ii)提供了一个统一记录大多数事件表示的分类法,并识别出新的事件表示方法。通过实验证明,我们的端到端学习事件表示的方法相对于现有技术方法,在光流估计和目标识别上都有约 12%的改进。
Apr, 2019
介绍了事件相机技术的工作原理,可用传感器和任务,包括低级视觉和高级视觉,并讨论了处理事件的技术,特别是基于学习的技术和专门为这些传感器设计的处理器,如脉冲神经网络,同时提出了待解决的挑战和未来机器感知及与世界互动的新机遇。
Apr, 2019
本研究提出了一种通用的框架,将基于同步图像事件表示训练的模型转换为具有相同输出的异步模型,以便直接利用事件数据的本质异步性和稀疏性,并在目标检测和识别任务中实现了高达 20 倍计算复杂度的降低和 24% 的精度提高。
Mar, 2020
该论文介绍了一种名为 EvNets 的新型事件神经网络,该网络利用视频数据的冗余性达到了可观的计算节省,它的每个神经元都有提供长期记忆的状态变量,使得即使相机移动较大,也能在低成本时实现高精度的推理,同时该论文在高和低水平的视觉处理领域,包括姿势识别,物体检测,光流和图像增强等领域上进行了广泛的实验,以验证该网络的有效性。
Dec, 2021
该研究论文提出了 EvGNN,这是第一个用于边缘视觉的事件驱动 GNN 加速器,通过利用定向动态图、事件队列和新颖的层并行处理方案,实现了边缘视觉的低内存占用、超低延迟和高准确性,从而实现了实时的微秒级分辨率事件驱动视觉。
Apr, 2024
通过将脉冲神经网络与事件摄像头相结合,我们设计了一种生物可行的编码器 - 解码器 U 型架构的语义分割方法,旨在在性能与资源使用之间进行权衡。实验证明 EvSegSNN 在 MIoU 方面优于最接近的最新模型,同时参数数量减少了 1.6 倍,省去了批归一化阶段。
Jun, 2024
本文提出了基于视觉关注的两种事件视觉注意力模型,一种通过跟踪视野内的事件活动来定位关注区域,另一种基于 DRAW 神经模型和全微分注意力程序,使用 Phased LSTM 识别网络作为基线参考模型并在四个数据集上进行验证,获得了在平移和尺度不变性方面的提升。
Jul, 2018