基于事件相机的 $ abla$t NeRF 跟踪器
提出了一种名为 Robust e-NeRF 的新方法,它可以在各种真实世界条件下直接且稳健地从移动事件相机中重建 NeRF,特别是从非均匀运动下生成的稀疏和嘈杂事件中。
Sep, 2023
本文提出了一种利用模型和学习模块的新方法,通过显式建模模糊形成过程和使用端到端可学习的响应函数来适应实际事件相机传感器中的非理想性,解决了运动模糊对 Neural Radiance Fields (NeRFs) 渲染图片质量的影响问题,结果显示该方法在合成和真实数据上优于仅使用帧或帧与事件相结合的已有去模糊 NeRFs,分别提高了 6.13dB 和 2.48dB。
Mar, 2024
本研究提出了一种方法,通过从单个模糊图像和对应的事件流中恢复神经辐射场来模拟相机运动,并通过最小化合成数据和真实测量值之间的差异来联合学习隐式神经场景表示和恢复相机运动。
Jul, 2024
CT-NeRF 是一种仅使用 RGB 图像而不需要姿态和深度信息的增量重建优化管道,通过本地 - 全局捆绑调整和重投影几何图像距离约束,实现对相机姿态和场景结构的恢复,能够处理具有复杂轨迹的场景,并在新视角合成和姿态估计准确度方面优于现有方法。
Apr, 2024
该研究提出一种基于单色事件流的神经辐射场方法实现了 3D 连续、密集和逼真图像的新视角合成,该方法通过自主学习训练,使用事件相机进行样本采集,有效地提高了数据利用率并在动态场景和低光环境下表现出强大的鲁棒性。
Jun, 2022
使用 RGB 和事件相机以及异步的事件流与校正的稀疏 RGB 帧的组合,共同优化事件相机的位置和辐射场,以建模可变形的神经辐射场。该方法在处理高变形和低采样率的情况下显示出显著优势,并在真实世界数据集上进行了实验证明其对建模动态场景中的可变形神经辐射场具有良好的应用前景。
Sep, 2023
我们引入了一种新颖的单目视觉里程计(VO)系统 NeRF-VO,它整合了基于学习的稀疏视觉里程计用于低延迟相机跟踪和神经辐射场景表示用于复杂的密集重建和新视角合成。我们的系统使用稀疏视觉里程计初始化相机位姿,并从单目深度预测网络获取视角相关的密集几何先验。我们将位姿和密集几何的尺度统一起来,将它们视为监督信号来训练神经隐式场景表示。NeRF-VO 通过联合优化关键帧位姿和底层密集几何,在边缘项渲染的过程中训练辐射场,展现了出色的场景表示的光度和几何保真度,在各种合成和真实世界的数据集上超过了最先进的方法,在姿态估计准确性、新视角合成保真度和密集重建质量方面都取得了更好的性能,并且在相机跟踪频率更高和 GPU 内存消耗更少的情况下。
Dec, 2023
用于捕捉快速运动的刚性和非刚性变形的事件流的准确重建的管道的 EvDNeRF,可以从静态或移动视点在任何所需的时间戳之间预测动态场景的事件流,因此可用作给定场景的基于事件的模拟器。
Oct, 2023
使用高时间分辨率的脉冲相机,我们提出了 Spike-NeRF,一种基于脉冲数据的神经辐射场,用于高速场景的三维重建和新视点合成。通过设计特殊的脉冲掩蔽和损失函数,我们从高频但不稳定的脉冲数据中重建了准确且稳定的三维场景,并通过合成实验验证了其优于现有方法和基线模型在高速场景中的视觉效果。
Mar, 2024