基于事件的异步稀疏卷积网络
本文介绍了将事件流转化成基于网格的表示的通用框架,其具有两个主要优势:(i)允许端到端学习输入事件表示,(ii)提供了一个统一记录大多数事件表示的分类法,并识别出新的事件表示方法。通过实验证明,我们的端到端学习事件表示的方法相对于现有技术方法,在光流估计和目标识别上都有约 12%的改进。
Apr, 2019
本文提出了两种神经网络结构,分别是基于事件的相位叠加帧模型的 YOLE 和异步基于事件的完全卷积网络 fcYOLE,用于在基于事件的摄像头上进行物体检测,通过不同的扩展公开数据集和人工合成数据集的评估,展示了该算法的性能。
May, 2018
本研究提出了 EventNet,一种基于新型视觉传感器的神经网络,旨在实时处理异步事件流,并采用了新的时间编码方案来建模输出对数万个因果事件的依赖关系,同时在标准 CPU 上每秒处理百万个事件,通过实验验证了该框架的实时性和稳健性。
Dec, 2018
本文研究基于事件驱动的异步脉冲神经网络,并通过将经典的基于帧数据训练的卷积神经网络转换为异步网络,以在计算预算紧张的条件下实现低功耗、快速和嵌入式的神经网络视觉解决方案,其中应用范例是机器人跟踪移动目标。研究发现,异步网络的分类准确率仅比同步 CNN 低 3%,但计算量却减少了 12 倍。
May, 2019
该论文介绍了一种基于神经网络的异步处理 Event-based Camera 事件流的方法,利用前一时刻的动态信息和灰度帧的关键特征,提取事件中的动态信息,相较现有同类研究结果表现优异。
Apr, 2019
提出了一种新的图表示方法将事件数据与图转换器相结合,用于准确的神经形态分类任务。通过广泛实验表明,该方法在仅有少量事件和有限计算资源的困难真实场景中表现出优异效果,为嵌入移动设备的神经形态应用开辟了道路。
Sep, 2023
基于事件的数据在边缘计算环境中十分常见,我们提出了一种因果时空卷积网络,以实现与这些数据的接口和利用丰富的时态特征,并通过简单的架构和操作(卷积、ReLU 激活)及在线推断效率配置、通过规范化训练实现超过 90% 的激活稀疏度,从而在基于事件的处理器上实现极大的效率增益。此外,我们还提出了一种直接作用于事件的通用仿射增强策略,缓解了基于事件的系统中数据集稀缺的问题。我们将该模型应用于 AIS 2024 基于事件的视觉注视挑战,并在 Kaggle 私人测试集上达到了 0.9916 的 P10 准确率。
Apr, 2024
本文介绍了一种用于提高事件基于 CNNs 的训练数据的策略,可为视频重建网络和光流网络带来 20-40%的性能提升,并提出了一种新的高质量数据集 HQF 以解决事件基于视频重建缺乏质量地真实图像的问题。
Mar, 2020
本文提出采用异步事件驱动图神经网络 (AEGNN),将事件处理范式从已知稀疏的静态图扩展到事件数据域中的一个演化的稀疏图,在物体分类和检测任务上,实现了计算复杂度提高 11 倍的同时,保持了最新的异步方法相同甚至更好的性能表现,将计算的降低转化为计算延迟降低了 8 倍,为低延时事件处理打开了新的机遇。
Mar, 2022