DGE:一致多视角直接高斯三维编辑
3D 高斯溅射在 3D 编辑方面的革命性变革中的作用是引入了 View-consistent Editing (VcEdit) 框架,该框架无缝地将 3DGS 引入图像编辑过程,确保修订的引导图像在多视图中具有一致性,并有效减轻模型崩溃问题。
Mar, 2024
GSEdit 是一个基于高斯打样模型的文本引导下的三维物体编辑管道,它能够在几分钟内通过消费者硬件,编辑三维物体的风格和外观而不破坏其主要细节。
Mar, 2024
通过引入新的方法,该研究论文介绍了一种从单个参考视图快速编辑 3D 模型的技术,其中包括分割编辑图像、使用 DINO 特征在选择的分割数据集视图之间匹配语义对应区域,并以语义合理的方式自动将编辑图像的特定区域的颜色或纹理变化应用于其他视图,以便进一步训练和重新样式化 3D 场景。
Jun, 2024
通过使用高斯编辑器(GaussianEditor)基于 3D 高斯模型的文本指令,可以实现对 3D 场景的精细编辑,相较于之前的方法,具有更快的训练速度和更精准的编辑效果。
Nov, 2023
提出了 GaussCtrl,一种使用文本驱动的方法来编辑由 3D Gaussian Splatting (3DGS) 重建的 3D 场景。该方法首先通过使用 3DGS 渲染一系列图像,然后使用基于输入提示的预训练二维扩散模型 (ControlNet) 对这些图像进行编辑,从而优化 3D 模型。我们的主要贡献是多视角一致性编辑,使得能够同时编辑所有图像,而不像以前的方法那样需要逐个编辑图像并更新 3D 模型。这导致更快的编辑速度和更高的视觉质量。这是通过以下两个方面实现的:(a) 基于深度的编辑,通过利用天然一致的深度图加强了多视角图像之间的几何一致性。(b) 基于注意力的潜在代码对齐,通过在图像的潜在表示之间进行自注意力和跨视图注意力,使编辑图像的外观统一于多个参考视图。实验表明,与之前的最先进方法相比,我们的方法实现了更快的编辑速度和更好的视觉效果。
Mar, 2024
我们的研究论文介绍了一种基于高斯分层投影新颖 3D 编辑算法的 GaussianEditor,通过高斯语义跟踪精确控制编辑目标,结合 Hierarchical Gaussian splatting (HGS) 方法实现对象的有效去除和整合,从而在 3D 编辑领域取得了显著的进展。
Nov, 2023
本文提出了名为 TIGER 的一种系统方法,用于一致的文本指导下的 3D 高斯检索和编辑,通过采用自底向上的语言聚合策略来生成支持开放词汇检索的更密集的语言嵌入的 3D 高斯场景,并通过聚合 2D 图像编辑扩散模型和多视图扩散模型的一致性得分蒸馏 (Coherent Score Distillation),实现更一致、更真实的编辑效果。
May, 2024
学习使用单目视频作为输入来生成动态三维语义辐射场,其中学习到的语义辐射场捕捉每个点的语义以及颜色和几何属性,以便生成新的视图和相应的语义。通过联合优化外观和语义属性,使得该方法能够实现密集的语义三维物体跟踪,并展示了渲染快速而质量高的多样化场景结果。
May, 2024
通过语言引导的分离高斯细分并融合三维数据,3DitScene 提供了一种从二维到三维的全新统一场景编辑框架,实现了对场景构成和单个对象的精确控制,从而革新创造性表达方式并增强场景和对象的控制能力。
May, 2024
基于 3D Gaussian Splatting 的 DragGaussian 框架,结合扩散模型,使用户能够对预训练的 3D 高斯对象模型进行基于拖动的编辑,通过多视角一致的编辑生成修改后的 2D 图像。
May, 2024