与子流形稀疏 CNN 共同设计的亚毫秒延迟事件驱动眼动追踪系统
基于事件的数据在边缘计算环境中十分常见，我们提出了一种因果时空卷积网络，以实现与这些数据的接口和利用丰富的时态特征，并通过简单的架构和操作（卷积、ReLU 激活）及在线推断效率配置、通过规范化训练实现超过 90% 的激活稀疏度，从而在基于事件的处理器上实现极大的效率增益。此外，我们还提出了一种直接作用于事件的通用仿射增强策略，缓解了基于事件的系统中数据集稀缺的问题。我们将该模型应用于 AIS 2024 基于事件的视觉注视挑战，并在 Kaggle 私人测试集上达到了 0.9916 的 P10 准确率。
Apr, 2024
本文介绍了一种用于眼动追踪的神经形态学方法，利用由 Dynamic Vision Sensor（DVS）摄像头捕获的纯事件数据。该方法结合了一个经过直接训练的脉冲神经网络回归模型，并利用了一种先进的低功耗边缘神经形态学处理器 Speck，旨在提高眼动追踪系统的精确度和效率。
Dec, 2023
本研究提出了一种用于事件驱动眼动追踪的稀疏变化卷积长短期记忆（CB-ConvLSTM）模型，对于下一代可穿戴医疗技术如 AR/VR 头戴式设备至关重要。该模型利用了受视网膜启发的事件相机的优势，即低延迟响应和稀疏输出事件流，超过传统基于帧的摄像机。CB-ConvLSTM 架构能从事件流中高效提取时空特征进行瞳孔跟踪，胜过传统 CNN 结构。通过利用增强稀疏激活的增量编码循环路径，CB-ConvLSTM 在经过标记的瞳孔数据集上测试时能减少约 4.7 倍的算术运算而不损失精度。这种提高效率的进展使得它非常适合在资源受限设备上进行实时眼动追踪。项目代码和数据集可以在 https://github.com/qinche106/cb-convlstm-eyetracking 获取。
Aug, 2023
Ev-Edge 是一个框架，通过三项关键优化技术提高边缘平台上基于事件的视觉系统的性能，包括将事件流转换为稀疏帧、动态稀疏帧聚合和网络映射。在多种自主导航任务中，Ev-Edge 相较于 NVIDIA Jetson Xavier AGX 平台上全 GPU 实现的单任务执行中具有 1.28 倍至 2.05 倍的延迟改进和 1.23 倍至 2.15 倍的能源改进，也相较于循环调度方法在多任务执行场景下具有 1.43 倍至 1.81 倍的延迟改进。
Mar, 2024
本研究提出了一种通用的框架，将基于同步图像事件表示训练的模型转换为具有相同输出的异步模型，以便直接利用事件数据的本质异步性和稀疏性，并在目标检测和识别任务中实现了高达 20 倍计算复杂度的降低和 24% 的精度提高。
Mar, 2020
该研究论文提出了 EvGNN，这是第一个用于边缘视觉的事件驱动 GNN 加速器，通过利用定向动态图、事件队列和新颖的层并行处理方案，实现了边缘视觉的低内存占用、超低延迟和高准确性，从而实现了实时的微秒级分辨率事件驱动视觉。
Apr, 2024
本研究旨在利用事件相机解决传统视频系统的限制，在汽车领域中针对嵌入式实时系统进行集成，通过图卷积网络 (GCN) 的运用保证处理事件系统所需的吞吐量和延迟性。通过针对点云处理的 GCN 架构 PointNet++ 进行硬件优化，实现了模型尺寸的超过 100 倍压缩，并在精度方面仅有较小的减少 (N-Caltech101 分类为 2.3%，N-Cars 分类为 1.7%)，从而紧跟 TinyML 的趋势。本文还介绍了一种自定义的基于 FPGA 加速的事件驱动图卷积网络 (EFGCN)，并在 ZCU104 SoC FPGA 平台上实现，实现了每秒 13.3 百万事件 (MEPS) 的吞吐量和 4.47 毫秒的实时部分异步处理延迟。此外，本研究还解决了所提出硬件模型的可扩展性，以提高所得到的准确性分数。据我们所知，这是首次在 SoC FPGA 上加速 PointNet++ 网络，也是首次针对实时连续事件数据处理进行图卷积网络实现的硬件架构研究。我们在一个开放的代码库中发布了软件和硬件源代码：this https URL*** (将在被接受后发布)。
Jun, 2024
本文介绍了一种嵌入式智能视觉传感器芯片，包括基于事件驱动的相机和低功耗异步脉冲卷积神经网络计算体系结构，可以高效地提取大量传感器数据的高级信息，并以极低的延迟和能量消耗有效处理图像信息。
Apr, 2023
本文研究基于事件驱动的异步脉冲神经网络，并通过将经典的基于帧数据训练的卷积神经网络转换为异步网络，以在计算预算紧张的条件下实现低功耗、快速和嵌入式的神经网络视觉解决方案，其中应用范例是机器人跟踪移动目标。研究发现，异步网络的分类准确率仅比同步 CNN 低 3％，但计算量却减少了 12 倍。
May, 2019