使用SoC FPGA设备生成高清事件帧
介绍了事件相机技术的工作原理,可用传感器和任务,包括低级视觉和高级视觉,并讨论了处理事件的技术,特别是基于学习的技术和专门为这些传感器设计的处理器,如脉冲神经网络,同时提出了待解决的挑战和未来机器感知及与世界互动的新机遇。
Apr, 2019
本文提出了一种使用循环网络从事件流中直接学习重建图像的方法,并在此基础上扩展到从事件流合成彩色图像的方法,实验证明该网络在处理高速现象和挑战性照明条件下具有较好的图像质量和高动态范围重建,并作为事件数据的中间表示进行了分类和视觉惯性积分导航等应用。
Jun, 2019
本文介绍了一种用于提高事件基于CNNs的训练数据的策略,可为视频重建网络和光流网络带来20-40%的性能提升,并提出了一种新的高质量数据集HQF以解决事件基于视频重建缺乏质量地真实图像的问题。
Mar, 2020
本文介绍了一种基于事件相机的物体检测任务的解决方案,包括了首个高分辨率大规模数据集的发布、一种新的递归架构和一种时间一致性损失函数,这些对于更好的训练结果至关重要,而且在需要高动态范围,低延迟且具有挑战性的光照条件的情况下比传统的基于帧的解决方案更加高效而准确。
Sep, 2020
本文介绍了一个从事件相机数据流中生成图形的硬件实现过程,通过简化图形表示和使用值的缩放和量化的方法来改进图像检测性能,并提出了基于图形生成模块的硬件架构。
Jan, 2024
本研究旨在利用事件相机解决传统视频系统的限制,在汽车领域中针对嵌入式实时系统进行集成,通过图卷积网络 (GCN) 的运用保证处理事件系统所需的吞吐量和延迟性。通过针对点云处理的 GCN 架构 PointNet++ 进行硬件优化,实现了模型尺寸的超过 100 倍压缩,并在精度方面仅有较小的减少 (N-Caltech101 分类为 2.3%,N-Cars 分类为 1.7%),从而紧跟 TinyML 的趋势。本文还介绍了一种自定义的基于 FPGA 加速的事件驱动图卷积网络 (EFGCN),并在 ZCU104 SoC FPGA 平台上实现,实现了每秒 13.3 百万事件 (MEPS) 的吞吐量和 4.47 毫秒的实时部分异步处理延迟。此外,本研究还解决了所提出硬件模型的可扩展性,以提高所得到的准确性分数。据我们所知,这是首次在 SoC FPGA 上加速 PointNet++ 网络,也是首次针对实时连续事件数据处理进行图卷积网络实现的硬件架构研究。我们在一个开放的代码库中发布了软件和硬件源代码:this https URL*** (将在被接受后发布)。
Jun, 2024
该论文概述了在处理事件数据的不同环境中使用FPGAs的重要工作,并涵盖了滤波、立体视觉、光流、基于人工智能的算法加速(包括脉冲神经网络)用于目标分类、检测和跟踪以及机器人和检测系统的应用。讨论了此类系统的当前趋势和挑战。
Jul, 2024
本研究解决了事件相机在空间和时间分辨率增强方面的不足,重点关注由于低分辨率和稀疏异步数据所带来的挑战。通过结合二进制脉冲与Sigma Delta神经网络,我们提出了一种新方法来优化事件流的空间和时间分布学习,结果显示该方法在计算效率上优于现有的最先进技术,显著提升了事件稀疏性和突触操作效率。
Aug, 2024
本研究解决了现有图卷积神经网络在FPGA实现中的可扩展性问题,通过优化硬件模块和提出双步卷积方法,显著降低了LUT的使用量。该方法提高了GCNN的可扩展性,使得可以应用于更多层次、更大规模的图和更动态的场景。
Nov, 2024