May, 2024

基于超公度特征场的视图一致的分层三维分割

PDF
TL;DR通过使用 Neural Radiance Field 中的新颖特征场，本研究提出了一种将多粒度、视角不一致的图像分割转化为层次化、3D 一致的表示的方法。通过在不同距离阈值下观察特征距离，可以揭示不同尺度下的分段结构。将视角不一致的多粒度 2D 分割作为输入，生成层次化的 3D 一致分割作为输出，展示了在合成数据集上准确性和视角一致性上的改进。并提供了模型在真实场景中生成的 3D 层次化分割的定性实例。
zero-shot image segmentation3d-consistent representationneural radiance fieldultrametric feature spacehierarchical clustering
发现论文，激发创造
  • OmniSeg3D: 基于层次对比学习的全方位 3D 分割

    提出了一种全方位理解 3D 场景的通用 3D 分割方法 OmniSeg3D，通过层次对比学习框架将多视图不一致的 2D 分割提升为一致的 3D 特征场，实现了分层分割、多对象选择和全局离散化，并通过大量实验验证了该方法在高质量 3D 分割和准确定义了层次结构方面的有效性，进一步利用图形用户界面实现了灵活的全方位 3D 分割的交互操作。

    Nov, 2023

  • GNeSF：泛化的神经语义场

    基于神经隐式表示的 3D 场景分割方法，通过多视图图像特征和语义地图作为输入，采用软投票机制来聚合来自不同视图的二维语义信息，结合视角差异信息预测投票分数，通过可见性模块筛选掉遮挡视图的有害信息，在只有二维语义监督的情况下，能够综合合成语义地图或进行新场景的三维语义分割。

    Oct, 2023

  • 几何感知的场场变换用于三维语义分割

    我们提出了一种新颖的方法，通过利用神经辐射场（NeRFs）从二维监督中进行三维语义分割，通过提取表面点云上的特征，实现了场景的紧凑表示，这种表示对于三维推理而言具有高效的采样并且适于少样本分割。我们的方法不依赖于场景参数化，可以适用于任何类型的 NeRF 场景。

    Oct, 2023

  • 使用 NeRFs 对 3D 中的任何物体进行分割

    该研究提出了一个用于三维分割的新框架 SA3D，通过密度导向的反渲染将 2D 分割蒙版投影到 3D 蒙版网格，再通过迭代的方式学习准确的 3D 分割结果，实验表明 SA3D 在不同场景下的有效性。

    Apr, 2023

  • SANeRF-HQ：高质量采样对于 NeRF 中的任何分割

    本研究介绍了 Segment Anything for NeRF in High Quality (SANeRF-HQ) 方法，通过结合 Segment Anything Model (SAM) 和 Neural Radiance Fields (NeRF) 实现了高质量的给定场景中任意对象的三维分割，提高了分割边界的准确性，优于当前 NeRF 对象分割的最新方法，并具备更高的对象定位灵活性和多视图的一致对象分割。

    Dec, 2023

  • DatasetNeRF：基于生成辐射场的高效三维感知数据工厂

    该论文介绍了 DatasetNeRF，一种新颖的方法，它能够生成无限数量、高质量的与 3D 一致的 2D 注释和 3D 点云分割，同时利用最少的 2D 人工标注。

    Nov, 2023

  • 大规模三维语义分割中的野外多视角聚合学习

    本文提出了一种端到端可训练的多视角聚合模型，利用 3D 点的视角优势，从任意位置拍摄的图像中合并特征，将标准 2D 和 3D 网络相结合，不需要着色、上网格或真实深度图，我们在 S3DIS 和 KITTI-360 数据集上取得了新的最佳效果。

    Apr, 2022

  • 虚拟多视角融合用于三维语义分割

    本文通过重新审视三维网格的经典多视图表示方法，研究了几种技术，使其可用于三维语义网格的语义分割。给定一个从 RGBD 传感器重建的三维网格，本文方法有效地选取不同的虚拟视图，并渲染多个二维通道，以训练出有效的二维语义分割模型；最终将多视讯预测的特征融合到三维网格顶点上，预测网格语义分割标签。

    Jul, 2020

  • HG3-NeRF: 针对稀疏视角输入的层次几何、语义和光度引导的神经辐射场

    引入了 Hierarchical Geometric, Semantic, and Photometric Guided NeRF (HG3-NeRF)，通过 Hierarchical Geometric Guidance (HGG) 和 Hierarchical Semantic Guidance (HSG) 提高极不完整观测下的几何、语义内容和外观的一致性，并在不同标准基准上胜过其他最先进的方法，获得高保真度的合成结果。

    Jan, 2024

  • 多视图共分割和聚类变换器的无监督分层语义分割

    本文提出了一种基于像素特征学习的数据驱动的无监督分层语义分割方法，使用同一图像的多视角协同分割来启动特征学习，加入粗细层次间的聚类变换器以确保组织层次间的语义一致性，该方法被称作 'Hierarchical Segment Grouping'，在五个主流目标和场景测评基准上表现良好。

    Apr, 2022