Obj-NeRF: 从多视图图像中提取物体 NeRF
通过NeRF的方法来实现对于图像的View Synthesis, 本文提到了NeRF的成功之处以及在应用于大规模无界三维场景中进行改进,使其在360°的拍摄模式下提高拍摄质量。
Oct, 2020
本研究使用神经辐射场(NeRF)从输入图像集合中学习高质量的三维物体类别模型,通过2组件NeRF模型,FiG-NeRF,实现场景的几何恒定背景和可变形前景的分离,从而仅使用光度监督和随意捕捉的物体图像即可学习准确的三维物体类别模型,并且可以进行精确清晰的无模分割和视图合成,并使用综合测量方法对方法进行定量评估。
Apr, 2021
本文提出了一种名为OR-NeRF的新型对象移除流水线,它可以在单个视图上通过点或文本提示从3D场景中移除对象,并在更短的时间内实现更好的性能。
May, 2023
Neural Radiance Fields (NeRFs) are a new representation of 3D scenes for view synthesis and image-based rendering, widely used and extended by thousands of papers, with potential for future advancements in 3D representations.
Aug, 2023
该研究关注解决从开放词汇中将神经辐射场(NeRF)分解为对象的挑战,这对于三维重建和视图合成中的对象操作是至关重要的。我们提出了Open-NeRF,利用大规模、现成的分割模型,如Segment Anything Model(SAM),并引入了一种集成和蒸馏范式,通过层次嵌入来既实现开放词汇查询的灵活性,又保持三维分割的准确性。Open-NeRF首先利用大规模的基础模型根据不同视角生成分层的二维掩模提案,然后通过跟踪方法对这些提案进行对齐,并在三维空间中进行集成,最后蒸馏为三维场。该过程确保了不同视角下的对象一致识别和细粒度,即使在涉及遮挡和模糊特征的挑战性场景中也是如此。实验结果表明,Open-NeRF在开放词汇的场景中胜过了LERF和FFD等最先进的方法。Open-NeRF为NeRF分解提供了一个有前途的解决方案,通过开放词汇查询引导,能够在开放世界的三维场景中实现新的机器人和视觉语言交互应用。
Oct, 2023
本研究介绍了Segment Anything for NeRF in High Quality (SANeRF-HQ)方法,通过结合Segment Anything Model (SAM)和Neural Radiance Fields (NeRF)实现了高质量的给定场景中任意对象的三维分割,提高了分割边界的准确性,优于当前NeRF对象分割的最新方法,并具备更高的对象定位灵活性和多视图的一致对象分割。
Dec, 2023
我们开发了第一个用于NeRF更新的方法,可通过只提供少量新的图像来更新预训练的NeRF,以便适应物理变化,而无需耗时的数据重新捕获和重新训练。我们使用辅助的第二个NeRF来学习场景的局部几何和外观变化,用于准确重建稀疏视角下未遮挡物体区域。该方法比从头开始重新训练NeRF快一个数量级,并且具有相当甚至更好的性能。
Mar, 2024
使用Visual Foundation Models(VFMs)以零样本、无标签的方式,通过同时重建语义场和增强模型来指导NeRF重建过程,从而获取透明物体的准确深度信息。我们的方法SAID-NeRF在透明物体深度完成数据集和机器人抓取方面展现了显著的性能。
Mar, 2024
本研究解决了NeRF在3D场景建模中难以进行语义分割的问题。提出了一种稳健的方法,通过对抗竞争对象槽来匹配掩膜,从而有效分解场景,生成高质量的3D全景分割。这一方法展示了在复杂场景中提取3D资产的能力,具有广泛的应用潜力。
Aug, 2024