Mar, 2024

基于尖峰相机的神经辐射场 Spike-NeRF

PDF
TL;DR使用高时间分辨率的脉冲相机，我们提出了 Spike-NeRF，一种基于脉冲数据的神经辐射场，用于高速场景的三维重建和新视点合成。通过设计特殊的脉冲掩蔽和损失函数，我们从高频但不稳定的脉冲数据中重建了准确且稳定的三维场景，并通过合成实验验证了其优于现有方法和基线模型在高速场景中的视觉效果。
spike camerahigh-speed vision applicationsspike-nerf3d reconstructionneuromorphic sensor
发现论文，激发创造
  • SpikeNeRF：从连续脉冲流中学习神经辐射场

    使用尖峰相机数据，利用 SpikeNeRF 从尖峰相机数据中得出了基于 NeRF 的体积场景表示，既能在真实世界中去除错误测量，又能揭示出在各种真实世界的照明情况下一贯的结构，从而在某些场景中展现出比其他视觉传感器更大的优势。

    Mar, 2024

  • 脉冲式神经位场：使仿生神经网络透视现实世界

    本文提出了脉冲神经元网络（SpikingNeRF），通过将辐射光线与 SNN 的时间维度对齐，以自然地适应 Radiance Fields 的重建，使计算以脉冲为基础，无需乘法运算，从而降低能耗。

    Sep, 2023

  • SpikeNVS：通过 Spike 相机提高模糊图像的新视图合成

    通过使用脉冲相机设计的由 Spike 流重建纹理（TfS）损失函数来提高以神经辐射场（NeRF）和 3D 高斯喷洒（3DGS）为基础的新视角合成，将可获得尖锐的场景表示，同时降低训练成本。

    Apr, 2024

  • SPARF: 稀疏且有噪声姿势的神经辐射场

    这篇论文提出了一种基于多视角几何约束、利用稀疏输入视角和深度一致性损失函数的方法: Sparse Pose Adjusting Radiance Field (SPARF)，以在仅有少数宽基线输入图像的情况下 (尽低至 3 张)，实现新视角合成，同时在多个具有挑战性的数据集上取得了新的最先进结果。

    Nov, 2022

  • 神经辐射场（NeRFs）：综述与一些最近的发展

    Neural Radiance Field (NeRF) is a framework representing a 3D scene with MLP, achieving state-of-the-art photorealistic image renderings for view synthesis and expanding capabilities to generate views from dynamic scene representations with fewer images for training.

    Apr, 2023

  • 动态高光物体的神经辐射场（NeRF-DS）

    本文提出了一种基于动态神经辐射场的算法，通过表面的位置和朝向在观测空间中进行条件化，像素的渲染基于不同姿态下的表面反射的颜色来实现遮挡的效果，有效地改善了单目 RGB 视频中移动高光物体的重建质量。

    Mar, 2023

  • H-NeRF: 人体运动的神经辐射场渲染与时间重建

    本文提出了神经辐射场用于人物运动的渲染和时空（4D）重建，该方法将神经场表示、新视角合成和隐式统计几何人类表示相结合，并应用于人类姿势识别和服装模拟。

    Oct, 2021

  • pixelNeRF：从一张或少量图像中生成神经辐射场

    我们提出了一种名为 pixelNeRF 的学习框架，可以在仅有一张或几张输入图像的条件下预测连续的神经场景表示。与现有方法相比，我们的体系结构不需要每个场景都进行优化，从而使得在仅有一张图像的情况下就可以执行视角的合成和单幅图像的三维重建。经过大量的实验证明，我们的模型在形状、类别和实景等方面都优于现有的最先进技术。

    Dec, 2020

  • 稳健的 e-NeRF：在非均匀运动下从稀疏且嘈杂的事件中恢复 NeRF

    提出了一种名为 Robust e-NeRF 的新方法，它可以在各种真实世界条件下直接且稳健地从移动事件相机中重建 NeRF，特别是从非均匀运动下生成的稀疏和嘈杂事件中。

    Sep, 2023

  • D-NeRF：用于动态场景的神经辐射场

    本文提出了 D-NeRF 方法，将神经辐射场扩展到动态领域，允许从单个相机围绕场景重建和渲染对象的新图像。通过将时间作为系统的额外输入，并将学习过程分为两个主要阶段，可以同时学习两个映射，实现控制相机视图和时间变量以及物体移动的目的。

    Nov, 2020