高斯分组:对 3D 场景中的物体进行分割和编辑
通过交互式流程而无需任何训练过程和学习参数,本文提出了一种在 3D 高斯中实现对象分割的新方法,称为 SA-GS。通过提出的多视角掩码生成和视图标签分配方法,SA-GS 可以泛化 SAM 以实现 3D 一致的分割,并提出了跨视图标签投票方法来分配不同视图中的标签。实验证明,SA-GS 在 3D 分割结果方面具有高质量,也可以轻松应用于场景编辑和碰撞检测任务。
Jan, 2024
我们的研究论文介绍了一种基于高斯分层投影新颖 3D 编辑算法的 GaussianEditor,通过高斯语义跟踪精确控制编辑目标,结合 Hierarchical Gaussian splatting (HGS) 方法实现对象的有效去除和整合,从而在 3D 编辑领域取得了显著的进展。
Nov, 2023
我们提出了一种紧凑高效的三维高斯分割方法(Compact and Swift Segmenting 3D Gaussians,CoSSegGaussians),通过仅使用 RGB 图像输入,在快速渲染速度下进行三维一致场景分割。
Jan, 2024
通过引入新的方法,该研究论文介绍了一种从单个参考视图快速编辑 3D 模型的技术,其中包括分割编辑图像、使用 DINO 特征在选择的分割数据集视图之间匹配语义对应区域,并以语义合理的方式自动将编辑图像的特定区域的颜色或纹理变化应用于其他视图,以便进一步训练和重新样式化 3D 场景。
Jun, 2024
通过语言引导的分离高斯细分并融合三维数据,3DitScene 提供了一种从二维到三维的全新统一场景编辑框架,实现了对场景构成和单个对象的精确控制,从而革新创造性表达方式并增强场景和对象的控制能力。
May, 2024
使用一组高斯椭球来模拟场景,从而实现高效渲染,3D 高斯喷涂表示法具有快速渲染、动态重建、几何编辑和物理模拟等优点。本文通过对最近的 3D 高斯喷涂方法进行文献综述,提供了一个 3D 高斯喷涂方法的分类,包括 3D 重建、3D 编辑和其他功能应用,以及传统的基于点的渲染方法和 3D 高斯喷涂的渲染公式,旨在帮助初学者快速了解这一领域并为经验丰富的研究者提供全面的概述,以推动 3D 高斯喷涂表示法的未来发展。
Mar, 2024
提出了一种名为 Superpoint Gaussian Splatting(SP-GS)的新框架,该框架通过使用显式的 3D 高斯函数来重构场景,并将具有相似属性的高斯函数聚类成超点,从而实现了对动态场景的实时渲染,获得了最新的视觉质量。
Jun, 2024
我们提出了一种方法,可以从 3D 高斯散点图中精确且非常快速地提取网格。该方法使用高斯散点图进行实际渲染,相较于 NeRFs 具有更快的训练速度。我们首先引入了一个鼓励高斯散点图与场景表面对齐的正则项,然后利用此对齐性通过 Poisson 重建方法从高斯散点图中提取网格,该方法快速、可扩展且能保留细节信息,与通常用于从神经隐式函数中提取网格的 Marching Cubes 算法形成对比。最后,我们引入了可选的优化策略,通过高斯散点图渲染将高斯散点图与网格表面绑定,在传统软件中通过操纵网格而非高斯散点图本身实现了易于编辑、雕刻、绑定、动画制作、合成和调光。与基于神经隐式函数的最先进方法相比,我们的方法可在几分钟内获取逼真渲染所需的可编辑网格,而不是使用数小时。同时,我们的方法提供更好的渲染质量。
Nov, 2023
本文介绍了一种基于 2D 分割作为监督的 3D 高斯分割方法,使用输入的 2D 分割图来引导添加的 3D 高斯语义信息的学习,通过最近邻聚类和统计滤波来改进分割结果,实验证明该简洁方法在多对象分割的 mIOU 和 mAcc 上可以达到与前一单对象分割方法相当的性能。
Dec, 2023