Nov, 2023

GaussianEditor：使用文本指令精细编辑 3D 高斯函数

PDF
TL;DR通过使用高斯编辑器（GaussianEditor）基于 3D 高斯模型的文本指令，可以实现对 3D 场景的精细编辑，相较于之前的方法，具有更快的训练速度和更精准的编辑效果。
3d scene editingdiffusion modelsgaussian splattingdelicate editingtraining speed
发现论文，激发创造
  • GaussianEditor：高斯飞溅实现的快速且可控的三维编辑

    我们的研究论文介绍了一种基于高斯分层投影新颖 3D 编辑算法的 GaussianEditor，通过高斯语义跟踪精确控制编辑目标，结合 Hierarchical Gaussian splatting (HGS) 方法实现对象的有效去除和整合，从而在 3D 编辑领域取得了显著的进展。

    Nov, 2023

  • GSEdit: 高效的基于文本引导的三维物体编辑方法

    GSEdit 是一个基于高斯打样模型的文本引导下的三维物体编辑管道，它能够在几分钟内通过消费者硬件，编辑三维物体的风格和外观而不破坏其主要细节。

    Mar, 2024

  • GaussCtrl: 多视图一致的文本驱动 3D 高斯点绘制编辑

    提出了 GaussCtrl，一种使用文本驱动的方法来编辑由 3D Gaussian Splatting (3DGS) 重建的 3D 场景。该方法首先通过使用 3DGS 渲染一系列图像，然后使用基于输入提示的预训练二维扩散模型 (ControlNet) 对这些图像进行编辑，从而优化 3D 模型。我们的主要贡献是多视角一致性编辑，使得能够同时编辑所有图像，而不像以前的方法那样需要逐个编辑图像并更新 3D 模型。这导致更快的编辑速度和更高的视觉质量。这是通过以下两个方面实现的：(a) 基于深度的编辑，通过利用天然一致的深度图加强了多视角图像之间的几何一致性。(b) 基于注意力的潜在代码对齐，通过在图像的潜在表示之间进行自注意力和跨视图注意力，使编辑图像的外观统一于多个参考视图。实验表明，与之前的最先进方法相比，我们的方法实现了更快的编辑速度和更好的视觉效果。

    Mar, 2024

  • DGE：一致多视角直接高斯三维编辑

    编辑三维物体与场景的直接高斯编辑器（DGE）方法，解决了现有方法中的问题，并支持基于开放式语言指令的多视点一致编辑和三维高斯雨滴方法。

    Apr, 2024

  • 3DDesigner: 基于文本引导扩散模型的照片般逼真的 3D 物体生成和编辑

    本文提出了一种基于文本引导扩散模型的 3D 场景生成、编辑和新视角合成方法，并重点讨论了 3D 一致性、本地编辑和单张图像训练等基础问题，取得了较好的效果。

    Nov, 2022

  • DragGaussian：在 3D 高斯表示上实现拖动式操作

    基于 3D Gaussian Splatting 的 DragGaussian 框架，结合扩散模型，使用户能够对预训练的 3D 高斯对象模型进行基于拖动的编辑，通过多视角一致的编辑生成修改后的 2D 图像。

    May, 2024

  • ICE-G: 3D 高斯 Blob 的图像条件编辑

    通过引入新的方法，该研究论文介绍了一种从单个参考视图快速编辑 3D 模型的技术，其中包括分割编辑图像、使用 DINO 特征在选择的分割数据集视图之间匹配语义对应区域，并以语义合理的方式自动将编辑图像的特定区域的颜色或纹理变化应用于其他视图，以便进一步训练和重新样式化 3D 场景。

    Jun, 2024

  • TIGER：基于文本指导的三维高斯检索与连贯编辑

    本文提出了名为 TIGER 的一种系统方法，用于一致的文本指导下的 3D 高斯检索和编辑，通过采用自底向上的语言聚合策略来生成支持开放词汇检索的更密集的语言嵌入的 3D 高斯场景，并通过聚合 2D 图像编辑扩散模型和多视图扩散模型的一致性得分蒸馏 (Coherent Score Distillation)，实现更一致、更真实的编辑效果。

    May, 2024

  • 潜编辑器：基于文本驱动的 3D 场景局部编辑

    通过引入 `LatentEditor` 框架，利用文本提示实现对神经场的精确和局部控制编辑，从而在潜空间中实现更快速、更适应性强的 3D 场景编辑。

    Dec, 2023

  • 高效 NeRF2NeRF：利用多视角对应增强的扩散模型简化文本驱动的 3D 编辑

    通过将对应关系正则化引入扩散模型，可以显著加快 3D 编辑过程，该方法使得在大多数情况下与基线方法相比速度提高了 10 倍，并在 2 分钟内完成了 3D 场景的编辑。

    Dec, 2023