Jul, 2023

揭示尖峰流在从密集连续视图中消除前景遮挡方面的潜力

PDF
TL;DR本文提出了一种使用仅一个 SPIKE 相机进行连续多视角成像的创新解决方案，即 SpkOccNet，利用跨视图注意机制有效融合并优化多窗口内连续视图的 SPIKE 信息，实现在不知道相机内参数和相机姿态的情况下高效去除多种场景下的密集遮挡，取得了良好的实验效果。
de-occlusionspike cameraneuromorphic sensormulti-view imagingcross-view mutual attention mechanism
发现论文，激发创造
  • 批处理视觉突发流中的视觉吸引力

    我们研究了连续脉冲流中的视觉显著性，并提出了一种基于完整脉冲神经网络的循环脉冲转换器框架，通过从连续的时空脉冲流中提取时空特征来实现对二进制脉冲流的有效处理。实验结果表明，我们的循环脉冲转换器框架在捕捉和突出脉冲流中的视觉显著性方面表现出了明显的改进幅度，不仅为基于脉冲的显著性分割提供了新的视角，也展示了全脉冲神经网络的转换器模型的新范式。

    Mar, 2024

  • SpikeReveal：从真实模糊输入中解开时间序列的尖峰流

    提出了第一个自监督框架来解决基于脉冲引导的运动去模糊任务，通过理论关系和知识蒸馏设计轻量级去模糊网络，生成与原始输入亮度和纹理一致的高质量序列。

    Mar, 2024

  • 脉冲相机的光流估计

    介绍了一种基于深度学习的用于估计高速场景下 spiking 相机的光流的流水线，并引入了一种新的输入表示方法以自适应地去除 spike 流中的运动模糊。通过在名为 SPIFT 和 PHM 的场景中合成的光流数据进行训练，该方法显示出对不同高速场景下的 spiking 数据能够有效地预测结果。

    Oct, 2021

  • 通过事件相机看透动态遮挡

    通过结合传统相机和事件相机，本文提出了一种在动态遮挡存在的情况下从单个视点重建背景的新方法，利用遮挡引起的事件提供高时间分辨率的相对强度变化信息，实现对背景内容的更准确重建。通过大规模数据集的实验证明，我们的方法在图像修复方面比图像修复方法的 PSNR 提高了 3dB。

    Jul, 2023

  • 基于动态时间表示的无监督尖峰相机光流估计

    本文提出了动态时间表示的脉冲流方法，能够有效地选择适当的脉冲流数据长度来提取精确信息，并通过多层卷积来提取多时间尺度特征，从而应用于光流估计等脉冲视觉任务。同时，文中介绍了一种无监督学习方法进行光流估计，并构建了一个脉冲流驱动的合成数据集进行验证。实验表明，该方法可以在不同高速场景下从脉冲流中预测光流，并且相较于先前方法可以获得较高的准确性。

    Jul, 2023

  • 通过尖峰相机模拟去噪尖峰流

    本文针对 spike camera 的独特噪声机制，提出了系统的噪声模型，并提出了 spike stream 去噪的基准和 DnSS 框架，实验结果表明 DnSS 在去噪方面表现出色。

    Apr, 2023

  • SpikeNVS：通过 Spike 相机提高模糊图像的新视图合成

    通过使用脉冲相机设计的由 Spike 流重建纹理（TfS）损失函数来提高以神经辐射场（NeRF）和 3D 高斯喷洒（3DGS）为基础的新视角合成，将可获得尖锐的场景表示，同时降低训练成本。

    Apr, 2024

  • 基于跨模态知识蒸馏的事件相机深度估计的新型脉冲变压器网络

    基于脉冲相机数据的纯脉冲驱动脉冲变压器网络模型以及跨模态知识迁移框架，在深度估计领域取得了显著提升的结果，同时减少了功耗消耗。

    Apr, 2024

  • 从脉冲流中学习稳健地重建低光动态场景

    本文提出了一个双向循环基于重建框架的方法，包括一个强光鲁棒表示（LR-Rep）和融合模块，以更好地处理低光照条件下的场景重建问题。实验证明了该方法的优越性，也在真实的脉冲流中具有很好的泛化性。

    Jan, 2024

  • Spike-FlowNet: 基于事件的光流估计与节能混合神经网络

    该论文介绍了一个基于 Spike-FlowNet 的深度混合神经网络体系结构，用于有效地估计来自稀疏事件相机输出的光流，同时提供了显着的计算效率。

    Mar, 2020