从脉冲流中学习稳健地重建低光动态场景
提出了第一个自监督框架来解决基于脉冲引导的运动去模糊任务,通过理论关系和知识蒸馏设计轻量级去模糊网络,生成与原始输入亮度和纹理一致的高质量序列。
Mar, 2024
基于脉冲相机的图像恢复方法,通过建立基于物理的噪声模型,设计具有自适应脉冲变换模块、循环时间特征融合模块和基于频率的脉冲降噪模块的 Recurrent Spike-based Image Restoration (RSIR) 网络,以恢复雨天或昏暗场景下的清晰图像。实验结果表明,该网络在不同光照条件下具有较好的恢复效果。
Aug, 2023
我们研究了连续脉冲流中的视觉显著性,并提出了一种基于完整脉冲神经网络的循环脉冲转换器框架,通过从连续的时空脉冲流中提取时空特征来实现对二进制脉冲流的有效处理。实验结果表明,我们的循环脉冲转换器框架在捕捉和突出脉冲流中的视觉显著性方面表现出了明显的改进幅度,不仅为基于脉冲的显著性分割提供了新的视角,也展示了全脉冲神经网络的转换器模型的新范式。
Mar, 2024
使用尖峰相机数据,利用 SpikeNeRF 从尖峰相机数据中得出了基于 NeRF 的体积场景表示,既能在真实世界中去除错误测量,又能揭示出在各种真实世界的照明情况下一贯的结构,从而在某些场景中展现出比其他视觉传感器更大的优势。
Mar, 2024
本研究提出了一种类似视网膜神经信号处理的凹形采样方法,在只利用动态视觉传感器输出的脉冲信号的情况下实现视觉纹理重建,提出了三种针对高速运动和静止场景的脉冲流解码方法。与传统基于帧的相机和动态视觉传感器相比,该模型具有更好的图像质量和更高的灵活性,有可能改变需求大的机器视觉应用的构建方式。
Jul, 2019
本篇论文提出一种深度神经网络结构来平衡网络延迟、内存使用率、模型参数和重建质量等因素,有效地提高了暗光环境下的图像增强处理,尤其适用于边缘设备如嵌入式系统、监控摄像头、自主机器人和智能手机等。
Nov, 2020
本文提出了一种使用循环网络从事件流中直接学习重建图像的方法,并在此基础上扩展到从事件流合成彩色图像的方法,实验证明该网络在处理高速现象和挑战性照明条件下具有较好的图像质量和高动态范围重建,并作为事件数据的中间表示进行了分类和视觉惯性积分导航等应用。
Jun, 2019
使用高时间分辨率的脉冲相机,我们提出了 Spike-NeRF,一种基于脉冲数据的神经辐射场,用于高速场景的三维重建和新视点合成。通过设计特殊的脉冲掩蔽和损失函数,我们从高频但不稳定的脉冲数据中重建了准确且稳定的三维场景,并通过合成实验验证了其优于现有方法和基线模型在高速场景中的视觉效果。
Mar, 2024
本文采用卷积前馈神经网络来解决超出直线视野成像中的复杂非线性细节重建问题,能够高效地生成大量的训练数据。实验结果表明,我们的前向传播网络,即使仅在合成数据上训练,也能推广到 SPAD 传感器的测量数据,并能够获得与基于模型的重建方法相媲美的结果。
Jan, 2020
本文提出了一种使用仅一个 SPIKE 相机进行连续多视角成像的创新解决方案,即 SpkOccNet,利用跨视图注意机制有效融合并优化多窗口内连续视图的 SPIKE 信息,实现在不知道相机内参数和相机姿态的情况下高效去除多种场景下的密集遮挡,取得了良好的实验效果。
Jul, 2023