基于Sigma-Delta神经网络的事件流超分辨率
本研究提出了EventNet,一种基于新型视觉传感器的神经网络,旨在实时处理异步事件流,并采用了新的时间编码方案来建模输出对数万个因果事件的依赖关系,同时在标准CPU上每秒处理百万个事件,通过实验验证了该框架的实时性和稳健性。
Dec, 2018
本文提出了一种使用循环网络从事件流中直接学习重建图像的方法,并在此基础上扩展到从事件流合成彩色图像的方法,实验证明该网络在处理高速现象和挑战性照明条件下具有较好的图像质量和高动态范围重建,并作为事件数据的中间表示进行了分类和视觉惯性积分导航等应用。
Jun, 2019
该研究提出一种基于事件流的端到端神经网络,能够从低空间分辨率的事件摄像头中重建出高分辨率,高动态范围的图像,优于现有同类算法,可通过使用主动传感像素框架或迭代重建图像方法进一步扩展。
Dec, 2019
本文提出了一种基于事件流的、重建低分辨率图像、提高图像质量并提高分辨率的新方法——EventSR。该方法是基于非监督式对抗学习的,对缺乏真实高分辨率图像的情况下进行重建,并利用了包括真实和模拟场景在内的数据集来提高网络性能。实验结果表明,EventSR可以在仿真和实际数据场景下从事件中重建出高质量的高分辨率图像。
Mar, 2020
本文提出一种新的方法,利用事件的高时空分辨率特性通过空时插值将事件引导具有随机比例因子的视频超分辨率任务。利用空时融合模块、时间滤波模块和空时隐式表示模块将RGB帧与事件的特征图结合来完成超分辨率恢复,实验结果表明,该方法显著超过以往技术。
Mar, 2023
该研究提出了一种新的SNN-ANN混合体系结构,该体系结构结合了事件图像和异步计算的优势,用于光流估计,实验结果表明,与以往的混合体系结构,ANN-only和SNN-only体系结构相比,该混合体系结构在准确性和效率方面均有显著提升。
Jun, 2023
本文致力于通过提高图像的时间分辨率和事件的空间分辨率来弥合传统相机和神经形态相机之间的分辨率差距,并介绍了一种新型的神经网络(CZ-Net)用于同时恢复模糊输入在曝光期内的尖锐隐藏序列和相应的高分辨率事件。
Sep, 2023
本研究提出了一种双边事件挖掘和互补网络(BMCNet),旨在完全发挥每个事件的潜力,同时捕捉共享信息以相互补充,通过两流网络实现对每种类型事件的全面挖掘,并通过双边信息交换(BIE)模块促进两个流之间的信息交流,在事件的固有特性带来的无效信息的影响下减轻有效信息的传播,实验证明我们的方法在事件流超分辨率方面优于现有方法,并在真实数据集和合成数据集上分别实现了超过11%的性能提升,此外,我们的方法显著改善了基于事件的下游任务的性能,如目标识别和视频重构。
May, 2024
提出了一种基于INR的新型连续时空视频超分辨率(C-STVSR)框架,通过事件相机捕捉全局依赖性和区域运动,利用时空嵌入捕捉长期依赖性,从而提高视频分辨率和帧率。
May, 2024