TL;DR本文提出了一种无监督的方法,叫做 uORF,用于从单张图像中推断物体场景表示,该方法整合了神经 3D 场景表示和深度推断网络,能够成功地分解复杂的 3D 场景,并完成诸如场景分割、3D 编辑和新视角合成等任务。
Abstract
We study the problem of inferring an object-centric scene representation from
a single image, aiming to derive a representation that explains the image
formation process, captures the scene's 3D nature, and is learned without
supervision. Most existing methods on scene decomposition la
本研究利用迄今为止最新的神经辐射场技术,通过引入物体场组件从 2D 视野中学习 3D 空间中所有个体物体的独特代码,并引入反向查询算法以自由地操作学习场景表示中特定的 3D 物体形状,进而解决物体碰撞和视觉遮挡等关键问题,能够准确地从 2D 视野中分解和操作 3D 场景的研究方法被称为 DM-NeRF。