提出了第一个自监督框架来解决基于脉冲引导的运动去模糊任务,通过理论关系和知识蒸馏设计轻量级去模糊网络,生成与原始输入亮度和纹理一致的高质量序列。
Mar, 2024
通过使用脉冲相机设计的由 Spike 流重建纹理(TfS)损失函数来提高以神经辐射场(NeRF)和 3D 高斯喷洒(3DGS)为基础的新视角合成,将可获得尖锐的场景表示,同时降低训练成本。
Apr, 2024
本文提出了一种使用仅一个 SPIKE 相机进行连续多视角成像的创新解决方案,即 SpkOccNet,利用跨视图注意机制有效融合并优化多窗口内连续视图的 SPIKE 信息,实现在不知道相机内参数和相机姿态的情况下高效去除多种场景下的密集遮挡,取得了良好的实验效果。
Jul, 2023
通过 SCSim 模拟器生成更真实的尖峰相机图像,其中包括了新的噪声模型,从而提高了重建任务等尖峰相机视觉任务的性能。
May, 2024
介绍了一种基于深度学习的用于估计高速场景下 spiking 相机的光流的流水线,并引入了一种新的输入表示方法以自适应地去除 spike 流中的运动模糊。通过在名为 SPIFT 和 PHM 的场景中合成的光流数据进行训练,该方法显示出对不同高速场景下的 spiking 数据能够有效地预测结果。
Oct, 2021
我们研究了连续脉冲流中的视觉显著性,并提出了一种基于完整脉冲神经网络的循环脉冲转换器框架,通过从连续的时空脉冲流中提取时空特征来实现对二进制脉冲流的有效处理。实验结果表明,我们的循环脉冲转换器框架在捕捉和突出脉冲流中的视觉显著性方面表现出了明显的改进幅度,不仅为基于脉冲的显著性分割提供了新的视角,也展示了全脉冲神经网络的转换器模型的新范式。
使用高时间分辨率的脉冲相机,我们提出了 Spike-NeRF,一种基于脉冲数据的神经辐射场,用于高速场景的三维重建和新视点合成。通过设计特殊的脉冲掩蔽和损失函数,我们从高频但不稳定的脉冲数据中重建了准确且稳定的三维场景,并通过合成实验验证了其优于现有方法和基线模型在高速场景中的视觉效果。
使用尖峰相机数据,利用 SpikeNeRF 从尖峰相机数据中得出了基于 NeRF 的体积场景表示,既能在真实世界中去除错误测量,又能揭示出在各种真实世界的照明情况下一贯的结构,从而在某些场景中展现出比其他视觉传感器更大的优势。
本文提出了一个双向循环基于重建框架的方法,包括一个强光鲁棒表示(LR-Rep)和融合模块,以更好地处理低光照条件下的场景重建问题。实验证明了该方法的优越性,也在真实的脉冲流中具有很好的泛化性。
Jan, 2024
通过使用 Leaky Integrate and Fire 神经元,我们研究了脉冲神经网络在高斯去噪任务中的性能,结果表明相对于深度卷积神经网络,SNN 能够在降低计算负载的情况下提供有竞争力的去噪性能。
May, 2023