May, 2022

D$^2$NeRF: 自监督解耦单目视频中的动态和静态物体

PDF
TL;DR本文介绍了一种自我监督的方法 D^2NeRF，可以基于单目视频学习 3D 场景，分离动态物体与静态背景，实现影子的分离与消除，并在各种场景下获得较好的效果。
decoupled dynamic neural radiance fieldmonocular videomoving objectsstatic backgroundshadow removal
发现论文，激发创造
  • 利用分布驱动神经辐射场的动态场景可分离新视角合成

    通过神经辐射场来区分整个动态场景中的背景分布并从静态背景中抽取出对象， 从而提供高质量的视图合成和 3D 解决方案。

    Jan, 2023

  • D-NeRF：用于动态场景的神经辐射场

    本文提出了 D-NeRF 方法，将神经辐射场扩展到动态领域，允许从单个相机围绕场景重建和渲染对象的新图像。通过将时间作为系统的额外输入，并将学习过程分为两个主要阶段，可以同时学习两个映射，实现控制相机视图和时间变量以及物体移动的目的。

    Nov, 2020

  • DyBluRF: 模糊单目视频中的动态神经光辐射场

    提出 DyBluRF 方法，通过在受到运动模糊的单目视频中捕捉相机轨迹和场景内物体的离散余弦变换 (DCT) 轨迹，以及采用全局跨时间渲染方法来实现生成高质量、清晰的新视角，并保持场景的时空一致性。在经过特定定制的多样化动态场景数据集上进行的实验结果表明，该方法在从运动模糊输入生成清晰的新视角并保持场景的时空一致性方面优于现有方法。

    Mar, 2024

  • CTNeRF：来自单眼视频的动态神经辉度场的跨时间变压器

    我们的研究目标是从复杂动态场景的单目视频中生成高质量的新视图。为了解决过去方法在准确建模复杂物体运动方面的局限性，我们提出了一种新方法，结合了近期的广义 NeRF 和在时间和频率域中操作的模块，以改善动态场景的图像合成的精确度和视觉质量。

    Jan, 2024

  • 动态高光物体的神经辐射场（NeRF-DS）

    本文提出了一种基于动态神经辐射场的算法，通过表面的位置和朝向在观测空间中进行条件化，像素的渲染基于不同姿态下的表面反射的颜色来实现遮挡的效果，有效地改善了单目 RGB 视频中移动高光物体的重建质量。

    Mar, 2023

  • DM-NeRF：从 2D 图像中分解和操作 3D 场景几何形状

    本研究利用迄今为止最新的神经辐射场技术，通过引入物体场组件从 2D 视野中学习 3D 空间中所有个体物体的独特代码，并引入反向查询算法以自由地操作学习场景表示中特定的 3D 物体形状，进而解决物体碰撞和视觉遮挡等关键问题，能够准确地从 2D 视野中分解和操作 3D 场景的研究方法被称为 DM-NeRF。

    Aug, 2022

  • 单目视频下动态场景的非刚性神经辐射场重建和新视角合成

    该论文提出了一种新的非刚性动态场景重建和新视角合成方法 ——NR-NeRF，该方法能够使用一个便携式消费级相机拍摄到的动态场景的 RGB 图像创建高质量的时空几何和外观表示，并且可以生成复杂的渲染场景。

    Dec, 2020

  • DyBluRF: 动态去模糊神经辐射场用于模糊单目视频

    提出一种用于模糊单目视频的动态去模糊 NeRF 框架（DyBluRF），通过互联的射线细化阶段（IRR）和基于运动分解的去模糊阶段（MDD），首次处理和处理了模糊单目视频的新视图合成。

    Dec, 2023

  • 基于时间变化表示和动态神经辐射场的追踪和建图

    本研究提出了一种时间变化的表示方法，用于跟踪和重建动态场景，并使用动态选择策略的神经辐射场结合同时定位和建图框架，实现了更有效的动态建图方法。

    Oct, 2023

  • DäRF：使用单目深度自适应从稀疏输入中提升辐射场

    提出一种名为 D"aRF 的新框架，通过在线互补训练将 monocular depth estimation （MDE）网络的强大几何学优势与 Neural radiance fields（NeRF）表示相结合，通过缓解单眼深度的歧义问题来提高其鲁棒性和一致性，在少量真实世界图像情况下实现了强大的 3D 重建和新视角综合，成功解决了现有方法在不同类型场景或数据集上的局限性。

    May, 2023