使用 SoC FPGA 设备生成高清事件帧
本文介绍了一种用于提高事件基于 CNNs 的训练数据的策略,可为视频重建网络和光流网络带来 20-40%的性能提升,并提出了一种新的高质量数据集 HQF 以解决事件基于视频重建缺乏质量地真实图像的问题。
Mar, 2020
本文提出了基于事件相机的条件生成式对抗网络,可以从时间数据流中的可调节部分生成图像 / 视频,并展示了在极端光照条件下生成高动态范围 (HDR) 图像的效用以及快速运动条件下生成非模糊图像的可能性和非常高的帧速率。
Nov, 2018
该论文提出了使用多模方式结合 RGB-based trackers 和 event-based cameras 进行 high frame rate tracking 的方法,并应用 multi-modality alignment 和 fusion modules 对两种模式的信息进行融合。在 FE240hz 数据集上,该方法表现优异,实现了高达 240Hz 的高帧率追踪。
May, 2023
本文提出了一种使用循环网络从事件流中直接学习重建图像的方法,并在此基础上扩展到从事件流合成彩色图像的方法,实验证明该网络在处理高速现象和挑战性照明条件下具有较好的图像质量和高动态范围重建,并作为事件数据的中间表示进行了分类和视觉惯性积分导航等应用。
Jun, 2019
该研究提出一种基于事件流的端到端神经网络,能够从低空间分辨率的事件摄像头中重建出高分辨率,高动态范围的图像,优于现有同类算法,可通过使用主动传感像素框架或迭代重建图像方法进一步扩展。
Dec, 2019
本研究旨在利用事件相机解决传统视频系统的限制,在汽车领域中针对嵌入式实时系统进行集成,通过图卷积网络 (GCN) 的运用保证处理事件系统所需的吞吐量和延迟性。通过针对点云处理的 GCN 架构 PointNet++ 进行硬件优化,实现了模型尺寸的超过 100 倍压缩,并在精度方面仅有较小的减少 (N-Caltech101 分类为 2.3%,N-Cars 分类为 1.7%),从而紧跟 TinyML 的趋势。本文还介绍了一种自定义的基于 FPGA 加速的事件驱动图卷积网络 (EFGCN),并在 ZCU104 SoC FPGA 平台上实现,实现了每秒 13.3 百万事件 (MEPS) 的吞吐量和 4.47 毫秒的实时部分异步处理延迟。此外,本研究还解决了所提出硬件模型的可扩展性,以提高所得到的准确性分数。据我们所知,这是首次在 SoC FPGA 上加速 PointNet++ 网络,也是首次针对实时连续事件数据处理进行图卷积网络实现的硬件架构研究。我们在一个开放的代码库中发布了软件和硬件源代码:this https URL*** (将在被接受后发布)。
Jun, 2024
本文介绍了一种基于硬件加速的卷积操作 FPGA 架构,旨在实现单层卷积的处理,以推出一种边缘 AI 解决方案 IP 核,实验结果表明它的峰值运算性能可达 4.48 GOPS。
Jun, 2022
提出了一种名为 E2HQV 的新型 E2V 范例,该范例利用了模型辅助的深度学习框架,从基于事件相机的基本成像原理中精心推导出的理论驱动的 E2V 模型,以及为了进一步提高视频帧质量而设计的时间偏移嵌入模块。对真实世界事件相机数据集的综合评估验证了我们的方法的有效性,E2HQV 在一些评估指标上超过了其他最先进的方法超过 40%。
Jan, 2024
本文介绍了一个从事件相机数据流中生成图形的硬件实现过程,通过简化图形表示和使用值的缩放和量化的方法来改进图像检测性能,并提出了基于图形生成模块的硬件架构。
Jan, 2024