Sep, 2023

利用 RGB 和事件相机的可变形神经辐射场

PDF
TL;DR使用 RGB 和事件相机以及异步的事件流与校正的稀疏 RGB 帧的组合，共同优化事件相机的位置和辐射场，以建模可变形的神经辐射场。该方法在处理高变形和低采样率的情况下显示出显著优势，并在真实世界数据集上进行了实验证明其对建模动态场景中的可变形神经辐射场具有良好的应用前景。
neural radiance fieldsdeformable objectsevent camerasasynchronoussparse rgb frames
发现论文，激发创造
  • EventNeRF：从单色事件相机中生成神经辐射场

    该研究提出一种基于单色事件流的神经辐射场方法实现了 3D 连续、密集和逼真图像的新视角合成，该方法通过自主学习训练，使用事件相机进行样本采集，有效地提高了数据利用率并在动态场景和低光环境下表现出强大的鲁棒性。

    Jun, 2022

  • EvDNeRF：使用动态神经辐射场重建事件数据

    用于捕捉快速运动的刚性和非刚性变形的事件流的准确重建的管道的 EvDNeRF，可以从静态或移动视点在任何所需的时间戳之间预测动态场景的事件流，因此可用作给定场景的基于事件的模拟器。

    Oct, 2023

  • 利用事件和帧减轻神经辐射场中的运动模糊

    本文提出了一种利用模型和学习模块的新方法，通过显式建模模糊形成过程和使用端到端可学习的响应函数来适应实际事件相机传感器中的非理想性，解决了运动模糊对 Neural Radiance Fields (NeRFs) 渲染图片质量的影响问题，结果显示该方法在合成和真实数据上优于仅使用帧或帧与事件相结合的已有去模糊 NeRFs，分别提高了 6.13dB 和 2.48dB。

    Mar, 2024

  • Nerfies: 可变形神经辐射场

    描述了一种基于神经辐射场的方法，通过优化连续的体形变场使移动设备拍摄的照片 / 视频重建变形场景，旨在生成高度逼真的渲染图像。实验表明，该方法可使用手机拍摄的自拍照片 / 视频转换成可变形的 NeRF 模型，并在任意视点产生高保真度的视图。

    Nov, 2020

  • 基于事件驱动束调整的去模糊神经辐射场

    提出了用于去模糊的神经光辐射场（NeRF）的事件驱动捆绑调整方法（EBAD-NeRF），该方法通过利用混合事件 - RGB 数据来联合优化可学习的姿势和 NeRF 参数，引入了强化相机运动模糊的强度变化度量事件损失和光度模糊损失，实验证明 EBAD-NeRF 在曝光时间内可以准确获得相机姿势，并学习到比以前的方法更清晰的 3D 表示。

    Jun, 2024

  • BeNeRF：从单个模糊图像和事件流生成神经辐射场

    本研究提出了一种方法，通过从单个模糊图像和对应的事件流中恢复神经辐射场来模拟相机运动，并通过最小化合成数据和真实测量值之间的差异来联合学习隐式神经场景表示和恢复相机运动。

    Jul, 2024

  • 从单目 RGB 视频中生成可动态调整神经辐射场

    本文提出了可动态变化神经辐射场 (animatable NeRF) 的方法用于从单眼视屏中创建细节丰富的人物角色，通过引入显式姿势引导变形的方式学习场景表示网络扩展神经辐射场 (NeRF) 到带有人体运动的动态场景，并展示了该方法在人物几何和外观重建、真实感渲染和动画设计等方面取得了突破性成果。

    Jun, 2021

  • 可动态展示人类身体的神经辐射场建模

    该论文提出了一种通过神经融合权重场和骨骼驱动变形的方法，从多视角视频中重建可动画的人体模型，相较于现有的人体合成方法，该方法具有显著优势。

    May, 2021

  • 基于束调整的外科内窥镜动态视频重建，使用神经辐射场

    通过采用神经辐射场（NeRF）方法，我们展示了一种能够学习时间上动态且可变形的三维场景的方法，并能适应各种不同相机和场景设置的鲁棒性模型，该模型消除了已知相机姿态的限制，并克服了目前静态场景重构技术中依赖场景静态部分进行精准重构的缺点，为当前和未来的机器人外科手术系统提供了潜力。

    Sep, 2023

  • 单目视频下动态场景的非刚性神经辐射场重建和新视角合成

    该论文提出了一种新的非刚性动态场景重建和新视角合成方法 ——NR-NeRF，该方法能够使用一个便携式消费级相机拍摄到的动态场景的 RGB 图像创建高质量的时空几何和外观表示，并且可以生成复杂的渲染场景。

    Dec, 2020