Mar, 2024

GaussCtrl: 多视图一致的文本驱动 3D 高斯点绘制编辑

PDF
TL;DR提出了 GaussCtrl，一种使用文本驱动的方法来编辑由 3D Gaussian Splatting (3DGS) 重建的 3D 场景。该方法首先通过使用 3DGS 渲染一系列图像，然后使用基于输入提示的预训练二维扩散模型 (ControlNet) 对这些图像进行编辑，从而优化 3D 模型。我们的主要贡献是多视角一致性编辑，使得能够同时编辑所有图像，而不像以前的方法那样需要逐个编辑图像并更新 3D 模型。这导致更快的编辑速度和更高的视觉质量。这是通过以下两个方面实现的：(a) 基于深度的编辑，通过利用天然一致的深度图加强了多视角图像之间的几何一致性。(b) 基于注意力的潜在代码对齐，通过在图像的潜在表示之间进行自注意力和跨视图注意力，使编辑图像的外观统一于多个参考视图。实验表明，与之前的最先进方法相比，我们的方法实现了更快的编辑速度和更好的视觉效果。
gaussctrl3d scene reconstruction3d gaussian splattingmulti-view consistent editingcontrolnet
发现论文，激发创造
  • 视角一致的高斯喷粒体三维编辑

    3D 高斯溅射在 3D 编辑方面的革命性变革中的作用是引入了 View-consistent Editing (VcEdit) 框架，该框架无缝地将 3DGS 引入图像编辑过程，确保修订的引导图像在多视图中具有一致性，并有效减轻模型崩溃问题。

    Mar, 2024

  • 可控的文本到三维生成：面对齐的高斯扩散

    本研究主要关注在控制性文本生成 3D 场景方面的多视图控制网络架构，该网络结合额外的输入条件，如边缘、深度、法线和素描图，使用局部和全局嵌入来控制基础扩散模型，并通过优化实现 3D 生成，最终实现了高质量、可控的 3D 内容的生成。

    Mar, 2024

  • GSEdit: 高效的基于文本引导的三维物体编辑方法

    GSEdit 是一个基于高斯打样模型的文本引导下的三维物体编辑管道，它能够在几分钟内通过消费者硬件，编辑三维物体的风格和外观而不破坏其主要细节。

    Mar, 2024

  • GaussianEditor：高斯飞溅实现的快速且可控的三维编辑

    我们的研究论文介绍了一种基于高斯分层投影新颖 3D 编辑算法的 GaussianEditor，通过高斯语义跟踪精确控制编辑目标，结合 Hierarchical Gaussian splatting (HGS) 方法实现对象的有效去除和整合，从而在 3D 编辑领域取得了显著的进展。

    Nov, 2023

  • 通过三维高斯光斑重构视频增强视频编辑的时间一致性

    Video-3DGS 是一种基于 3D 高斯雾化技术改进的视频编辑器，旨在增强零痕编辑中的时间一致性，并通过在两个阶段利用三维高斯进行视频重构和编辑来展示其有效性。

    Jun, 2024

  • SC-GS：用于可编辑动态场景的稀疏控制高斯喷洒

    基于高斯散开技术的稀疏控制点和稠密高斯的运动与外观分解，用于动态场景的新视角合成。

    Dec, 2023

  • GaussianEditor：使用文本指令精细编辑 3D 高斯函数

    通过使用高斯编辑器（GaussianEditor）基于 3D 高斯模型的文本指令，可以实现对 3D 场景的精细编辑，相较于之前的方法，具有更快的训练速度和更精准的编辑效果。

    Nov, 2023

  • DGE：一致多视角直接高斯三维编辑

    编辑三维物体与场景的直接高斯编辑器（DGE）方法，解决了现有方法中的问题，并支持基于开放式语言指令的多视点一致编辑和三维高斯雨滴方法。

    Apr, 2024

  • Texture-GS: 三维高斯点描编辑中几何与纹理的解藕

    通过提出一种称为 Texture-GS 的新方法，使用 3D 高斯喷射技术，可以实现高保真的外观编辑和实时渲染。它通过将外观和几何表示为附着在三维表面上的二维纹理来实现外观与几何的解离，从而增强了编辑操作的灵活性。通过在 DTU 数据集上进行广泛实验证明，该方法不仅实现了高保真度的外观编辑，还在消费级设备上实现了实时渲染。

    Mar, 2024

  • ICE-G: 3D 高斯 Blob 的图像条件编辑

    通过引入新的方法，该研究论文介绍了一种从单个参考视图快速编辑 3D 模型的技术，其中包括分割编辑图像、使用 DINO 特征在选择的分割数据集视图之间匹配语义对应区域，并以语义合理的方式自动将编辑图像的特定区域的颜色或纹理变化应用于其他视图，以便进一步训练和重新样式化 3D 场景。

    Jun, 2024