可交互辐射场分割
该研究论文对于在光辐射场中进行交互式分割的现有方法进行了探讨,并提出了一种新的 SGISRF 方法,能够通过少量用户交互点击,对由光辐射场表示的新场景进行 3D 物体分割。该方法通过三种特别设计的技术来解决三个关键挑战,并在多个实验中证明了其有效性和适用性。
Aug, 2023
通过整合多视图算法和预训练的 2D 模型,我们介绍了一种新的基于细粒度交互的三维分割和编辑算法,称为 SERF。该方法利用神经网格表示法建立起准确和可交互的三维分割,从而实现包括交互式几何编辑和纹理绘制在内的一系列三维编辑操作,并在真实数据和合成数据上的广泛实验证实了我们方法在表示质量和编辑能力上的优越性。
Dec, 2023
本论文研究了将语义特征应用于 Neural Radiance Fields(NeRF)以拓展其应用于实现复杂场景中物体的交互。研究提出了使用感知模型的主干特征,通过渲染语义特征,并仅应用感知模型的解码器,从而实现零样本语义分割的框架。同时可以将学习到的语义映射到提取的网格表面以实现实时交互,通过 Segment Anything Model(SAM)还加速了分割 16 倍,并展示实验结果证明了这种方法的有效性和计算优势。
May, 2023
本综述全面研究了语义感知的神经辐射场(NeRFs)在视觉场景理解中的作用,覆盖了 250 多篇学术论文的分析。它探讨了 NeRFs 在场景中熟练推断静态和动态物体的三维表示的能力,并介绍了其在生成高质量新视点、补全场景细节(修复)、进行全面场景分割(全景分割)、预测三维边界框、编辑三维场景和提取以物体为中心的三维模型方面的重要性。本研究的一个重要方面是将语义标签应用为视点不变函数,有效地将空间坐标映射到一系列语义标签的过程,从而便于识别场景中的不同物体。总体而言,本综述强调了在视觉场景解释的背景下,语义感知的神经辐射场的发展和多样应用。
Feb, 2024
我们提出了一种新颖的方法,通过利用神经辐射场(NeRFs)从二维监督中进行三维语义分割,通过提取表面点云上的特征,实现了场景的紧凑表示,这种表示对于三维推理而言具有高效的采样并且适于少样本分割。我们的方法不依赖于场景参数化,可以适用于任何类型的 NeRF 场景。
Oct, 2023
通过使用语义信息并在少量的图片上建立 occlusion filtering module,我们提出了一个学习框架来重建神经场景表征并演示了其在 Phototourism 数据集上在 few-shot 场景下优于最先进的 novel view synthesis 方法。
Mar, 2023
本研究介绍了 Segment Anything for NeRF in High Quality (SANeRF-HQ) 方法,通过结合 Segment Anything Model (SAM) 和 Neural Radiance Fields (NeRF) 实现了高质量的给定场景中任意对象的三维分割,提高了分割边界的准确性,优于当前 NeRF 对象分割的最新方法,并具备更高的对象定位灵活性和多视图的一致对象分割。
Dec, 2023
使用 Visual Foundation Models(VFMs)以零样本、无标签的方式,通过同时重建语义场和增强模型来指导 NeRF 重建过程,从而获取透明物体的准确深度信息。我们的方法 SAID-NeRF 在透明物体深度完成数据集和机器人抓取方面展现了显著的性能。
Mar, 2024