通过无监督体积分割将3D场景分解为对象
该研究提出了一种新的方法,可以同时恢复3D对象的几何形状和基于部分的分解,以及它们之间的潜在层次结构,实验证明考虑部分的组织确实有助于推理三维几何。
Apr, 2020
该论文的研究结果表明在深度学习和编码器-解码器架构的帮助下,使用光线追踪跳跃连接和混合的 3D 模型表示技术可以从单个图像中重构出 3D 物体模型,并且同样的技术可以从单张图像中重构出多个 3D 物体模型,并处理遮挡问题。
Apr, 2020
本研究使用神经辐射场(NeRF)从输入图像集合中学习高质量的三维物体类别模型,通过2组件NeRF模型,FiG-NeRF,实现场景的几何恒定背景和可变形前景的分离,从而仅使用光度监督和随意捕捉的物体图像即可学习准确的三维物体类别模型,并且可以进行精确清晰的无模分割和视图合成,并使用综合测量方法对方法进行定量评估。
Apr, 2021
本文提出了一种无监督的方法,叫做uORF,用于从单张图像中推断物体场景表示,该方法整合了神经3D场景表示和深度推断网络,能够成功地分解复杂的3D场景,并完成诸如场景分割、3D编辑和新视角合成等任务。
Jul, 2021
CodeNeRF利用3D神经表征来学习物体的形状和纹理变化,从而可以合成未知物体的新视角,并且可以通过优化来估计摄像机视角、形状和外观代码。
Sep, 2021
ObPose是一个无监督的对象中心推理生成模型,可以从RGB-D场景中学习三维结构的潜在表示,并通过将对象位置和外观分开编码来获得卓越的性能。
Jun, 2022
本研究利用迄今为止最新的神经辐射场技术,通过引入物体场组件从 2D 视野中学习 3D 空间中所有个体物体的独特代码,并引入反向查询算法以自由地操作学习场景表示中特定的 3D 物体形状,进而解决物体碰撞和视觉遮挡等关键问题,能够准确地从 2D 视野中分解和操作 3D 场景的研究方法被称为 DM-NeRF。
Aug, 2022
该研究关注解决从开放词汇中将神经辐射场(NeRF)分解为对象的挑战,这对于三维重建和视图合成中的对象操作是至关重要的。我们提出了Open-NeRF,利用大规模、现成的分割模型,如Segment Anything Model(SAM),并引入了一种集成和蒸馏范式,通过层次嵌入来既实现开放词汇查询的灵活性,又保持三维分割的准确性。Open-NeRF首先利用大规模的基础模型根据不同视角生成分层的二维掩模提案,然后通过跟踪方法对这些提案进行对齐,并在三维空间中进行集成,最后蒸馏为三维场。该过程确保了不同视角下的对象一致识别和细粒度,即使在涉及遮挡和模糊特征的挑战性场景中也是如此。实验结果表明,Open-NeRF在开放词汇的场景中胜过了LERF和FFD等最先进的方法。Open-NeRF为NeRF分解提供了一个有前途的解决方案,通过开放词汇查询引导,能够在开放世界的三维场景中实现新的机器人和视觉语言交互应用。
Oct, 2023
本研究提出了Obj-NeRF,一种综合管道,通过使用一个单一的提示从多视图图像中恢复特定对象的3D几何形状。该方法结合了Segment Anything Model(SAM)的2D分割能力和NeRF的3D重建能力,并应用了几种有效技术。此外,研究还构建了一个包含多样化对象的大规模对象级NeRF数据集,可在各种下游任务中发挥作用。为了证明我们的方法的实用性,我们还将Obj-NeRF应用于包括对象去除、旋转、替换和重新上色在内的各种应用。
Nov, 2023
本研究解决了NeRF在3D场景建模中难以进行语义分割的问题。提出了一种稳健的方法,通过对抗竞争对象槽来匹配掩膜,从而有效分解场景,生成高质量的3D全景分割。这一方法展示了在复杂场景中提取3D资产的能力,具有广泛的应用潜力。
Aug, 2024