May, 2024

TIGER：基于文本指导的三维高斯检索与连贯编辑

PDF
TL;DR本文提出了名为 TIGER 的一种系统方法，用于一致的文本指导下的 3D 高斯检索和编辑，通过采用自底向上的语言聚合策略来生成支持开放词汇检索的更密集的语言嵌入的 3D 高斯场景，并通过聚合 2D 图像编辑扩散模型和多视图扩散模型的一致性得分蒸馏 (Coherent Score Distillation)，实现更一致、更真实的编辑效果。
3d gaussian splattingscene representationtext-instructed retrievaleditingcoherent score distillation
发现论文，激发创造
  • GSEdit: 高效的基于文本引导的三维物体编辑方法

    GSEdit 是一个基于高斯打样模型的文本引导下的三维物体编辑管道，它能够在几分钟内通过消费者硬件，编辑三维物体的风格和外观而不破坏其主要细节。

    Mar, 2024

  • GaussianEditor：使用文本指令精细编辑 3D 高斯函数

    通过使用高斯编辑器（GaussianEditor）基于 3D 高斯模型的文本指令，可以实现对 3D 场景的精细编辑，相较于之前的方法，具有更快的训练速度和更精准的编辑效果。

    Nov, 2023

  • DGE：一致多视角直接高斯三维编辑

    编辑三维物体与场景的直接高斯编辑器（DGE）方法，解决了现有方法中的问题，并支持基于开放式语言指令的多视点一致编辑和三维高斯雨滴方法。

    Apr, 2024

  • GaussCtrl: 多视图一致的文本驱动 3D 高斯点绘制编辑

    提出了 GaussCtrl，一种使用文本驱动的方法来编辑由 3D Gaussian Splatting (3DGS) 重建的 3D 场景。该方法首先通过使用 3DGS 渲染一系列图像，然后使用基于输入提示的预训练二维扩散模型 (ControlNet) 对这些图像进行编辑，从而优化 3D 模型。我们的主要贡献是多视角一致性编辑，使得能够同时编辑所有图像，而不像以前的方法那样需要逐个编辑图像并更新 3D 模型。这导致更快的编辑速度和更高的视觉质量。这是通过以下两个方面实现的：(a) 基于深度的编辑，通过利用天然一致的深度图加强了多视角图像之间的几何一致性。(b) 基于注意力的潜在代码对齐，通过在图像的潜在表示之间进行自注意力和跨视图注意力，使编辑图像的外观统一于多个参考视图。实验表明，与之前的最先进方法相比，我们的方法实现了更快的编辑速度和更好的视觉效果。

    Mar, 2024

  • 视角一致的高斯喷粒体三维编辑

    3D 高斯溅射在 3D 编辑方面的革命性变革中的作用是引入了 View-consistent Editing (VcEdit) 框架，该框架无缝地将 3DGS 引入图像编辑过程，确保修订的引导图像在多视图中具有一致性，并有效减轻模型崩溃问题。

    Mar, 2024

  • 通过三维高斯光斑重构视频增强视频编辑的时间一致性

    Video-3DGS 是一种基于 3D 高斯雾化技术改进的视频编辑器，旨在增强零痕编辑中的时间一致性，并通过在两个阶段利用三维高斯进行视频重构和编辑来展示其有效性。

    Jun, 2024

  • ICE-G: 3D 高斯 Blob 的图像条件编辑

    通过引入新的方法，该研究论文介绍了一种从单个参考视图快速编辑 3D 模型的技术，其中包括分割编辑图像、使用 DINO 特征在选择的分割数据集视图之间匹配语义对应区域，并以语义合理的方式自动将编辑图像的特定区域的颜色或纹理变化应用于其他视图，以便进一步训练和重新样式化 3D 场景。

    Jun, 2024

  • 3DitScene：基于语言引导的解耦高斯投影进行任意场景编辑

    通过语言引导的分离高斯细分并融合三维数据，3DitScene 提供了一种从二维到三维的全新统一场景编辑框架，实现了对场景构成和单个对象的精确控制，从而革新创造性表达方式并增强场景和对象的控制能力。

    May, 2024

  • GaussianEditor：高斯飞溅实现的快速且可控的三维编辑

    我们的研究论文介绍了一种基于高斯分层投影新颖 3D 编辑算法的 GaussianEditor，通过高斯语义跟踪精确控制编辑目标，结合 Hierarchical Gaussian splatting (HGS) 方法实现对象的有效去除和整合，从而在 3D 编辑领域取得了显著的进展。

    Nov, 2023

  • Texture-GS: 三维高斯点描编辑中几何与纹理的解藕

    通过提出一种称为 Texture-GS 的新方法，使用 3D 高斯喷射技术，可以实现高保真的外观编辑和实时渲染。它通过将外观和几何表示为附着在三维表面上的二维纹理来实现外观与几何的解离，从而增强了编辑操作的灵活性。通过在 DTU 数据集上进行广泛实验证明，该方法不仅实现了高保真度的外观编辑，还在消费级设备上实现了实时渲染。

    Mar, 2024