Apr, 2024

SpikeNVS：通过 Spike 相机提高模糊图像的新视图合成

PDF
TL;DR通过使用脉冲相机设计的由 Spike 流重建纹理（TfS）损失函数来提高以神经辐射场（NeRF）和 3D 高斯喷洒（3DGS）为基础的新视角合成，将可获得尖锐的场景表示，同时降低训练成本。
neural radiance fields3d gaussian splattingneuromorphic camerasspike cameranovel view synthesis
发现论文，激发创造
  • 基于尖峰相机的神经辐射场 Spike-NeRF

    使用高时间分辨率的脉冲相机，我们提出了 Spike-NeRF，一种基于脉冲数据的神经辐射场，用于高速场景的三维重建和新视点合成。通过设计特殊的脉冲掩蔽和损失函数，我们从高频但不稳定的脉冲数据中重建了准确且稳定的三维场景，并通过合成实验验证了其优于现有方法和基线模型在高速场景中的视觉效果。

    Mar, 2024

  • SpikeNeRF：从连续脉冲流中学习神经辐射场

    使用尖峰相机数据，利用 SpikeNeRF 从尖峰相机数据中得出了基于 NeRF 的体积场景表示，既能在真实世界中去除错误测量，又能揭示出在各种真实世界的照明情况下一贯的结构，从而在某些场景中展现出比其他视觉传感器更大的优势。

    Mar, 2024

  • E2GS: 事件增强的高斯点云投射

    使用 Event Enhanced Gaussian Splatting（E2GS）方法，结合事件数据和高斯分层方法，以提高图像去模糊和产生高质量的新视角合成，并在综合实验中展示了较快训练和渲染速度（140 FPS）

    Jun, 2024

  • SGD：基于高斯点描和扩散先验的街景合成

    用新颖的方法结合扩散模型和多模态数据以提高三维高斯飞溅对未见视角的渲染效果，有效增强了自动驾驶模拟中街景的新视角合成技术。

    Mar, 2024

  • 利用高斯光疙瘩从单目视频中进行自校准的 4D 新视图合成

    通过学习高保真度的 4D 高斯点云分割场景表征，自校准相机参数，以及联合优化相机参数和 3D 结构，我们的方法在 4D 新视图合成方面展现出了显著的改进。

    Jun, 2024

  • EventNeRF：从单色事件相机中生成神经辐射场

    该研究提出一种基于单色事件流的神经辐射场方法实现了 3D 连续、密集和逼真图像的新视角合成，该方法通过自主学习训练，使用事件相机进行样本采集，有效地提高了数据利用率并在动态场景和低光环境下表现出强大的鲁棒性。

    Jun, 2022

  • 室内场景的单个 RGBD 图像的新视角合成

    本文提出了一种从单个 RGBD 输入合成新视角图像的方法，通过利用 RGBD 图像中嵌入的深度信息，将 NVS 任务转换成图像转换问题，并使用生成对抗网络实现类似于从新视角拍摄的照片的结果，而不受传统多图像技术的限制。

    Nov, 2023

  • 利用事件和帧减轻神经辐射场中的运动模糊

    本文提出了一种利用模型和学习模块的新方法，通过显式建模模糊形成过程和使用端到端可学习的响应函数来适应实际事件相机传感器中的非理想性，解决了运动模糊对 Neural Radiance Fields (NeRFs) 渲染图片质量的影响问题，结果显示该方法在合成和真实数据上优于仅使用帧或帧与事件相结合的已有去模糊 NeRFs，分别提高了 6.13dB 和 2.48dB。

    Mar, 2024

  • 基于图像的神经形态视觉感知中的时空特征学习

    使用紧凑的图形表示和图卷积神经网络实现 end-to-end 的特征学习，以提高神经形态视觉感知技术在计算机视觉任务中的性能，尤其在行动识别方面表现出色。

    Oct, 2019

  • 一种基于视网膜的纹理重建采样方法

    本研究提出了一种类似视网膜神经信号处理的凹形采样方法，在只利用动态视觉传感器输出的脉冲信号的情况下实现视觉纹理重建，提出了三种针对高速运动和静止场景的脉冲流解码方法。与传统基于帧的相机和动态视觉传感器相比，该模型具有更好的图像质量和更高的灵活性，有可能改变需求大的机器视觉应用的构建方式。

    Jul, 2019