视角一致的高斯喷粒体三维编辑
提出了 GaussCtrl,一种使用文本驱动的方法来编辑由 3D Gaussian Splatting (3DGS) 重建的 3D 场景。该方法首先通过使用 3DGS 渲染一系列图像,然后使用基于输入提示的预训练二维扩散模型 (ControlNet) 对这些图像进行编辑,从而优化 3D 模型。我们的主要贡献是多视角一致性编辑,使得能够同时编辑所有图像,而不像以前的方法那样需要逐个编辑图像并更新 3D 模型。这导致更快的编辑速度和更高的视觉质量。这是通过以下两个方面实现的:(a) 基于深度的编辑,通过利用天然一致的深度图加强了多视角图像之间的几何一致性。(b) 基于注意力的潜在代码对齐,通过在图像的潜在表示之间进行自注意力和跨视图注意力,使编辑图像的外观统一于多个参考视图。实验表明,与之前的最先进方法相比,我们的方法实现了更快的编辑速度和更好的视觉效果。
Mar, 2024
Video-3DGS 是一种基于 3D 高斯雾化技术改进的视频编辑器,旨在增强零痕编辑中的时间一致性,并通过在两个阶段利用三维高斯进行视频重构和编辑来展示其有效性。
Jun, 2024
我们的研究论文介绍了一种基于高斯分层投影新颖 3D 编辑算法的 GaussianEditor,通过高斯语义跟踪精确控制编辑目标,结合 Hierarchical Gaussian splatting (HGS) 方法实现对象的有效去除和整合,从而在 3D 编辑领域取得了显著的进展。
Nov, 2023
通过引入新的方法,该研究论文介绍了一种从单个参考视图快速编辑 3D 模型的技术,其中包括分割编辑图像、使用 DINO 特征在选择的分割数据集视图之间匹配语义对应区域,并以语义合理的方式自动将编辑图像的特定区域的颜色或纹理变化应用于其他视图,以便进一步训练和重新样式化 3D 场景。
Jun, 2024
GSEdit 是一个基于高斯打样模型的文本引导下的三维物体编辑管道,它能够在几分钟内通过消费者硬件,编辑三维物体的风格和外观而不破坏其主要细节。
Mar, 2024
使用一组高斯椭球来模拟场景,从而实现高效渲染,3D 高斯喷涂表示法具有快速渲染、动态重建、几何编辑和物理模拟等优点。本文通过对最近的 3D 高斯喷涂方法进行文献综述,提供了一个 3D 高斯喷涂方法的分类,包括 3D 重建、3D 编辑和其他功能应用,以及传统的基于点的渲染方法和 3D 高斯喷涂的渲染公式,旨在帮助初学者快速了解这一领域并为经验丰富的研究者提供全面的概述,以推动 3D 高斯喷涂表示法的未来发展。
Mar, 2024
提出了一种新的运动感知增强框架,通过挖掘光流中的有用运动线索来改进动态场景重建,以提高不同动态 3D 高斯喷溅方式的性能,并针对基于形变的范例提出了一种瞬态感知形变辅助模块。经过广泛的实验证明,与基线相比,我们的方法在渲染质量和效率方面都表现出明显的优势。
Mar, 2024
CLIP-GS integrates semantics from Contrastive Language-Image Pre-Training (CLIP) into Gaussian Splatting, utilizing Semantic Attribute Compactness (SAC) and 3D Coherent Self-training (3DCS), achieving improved segmentation results with real-time rendering speed.
Apr, 2024
4D 高斯喷洒是一种在动态场景下表示动态场景的新方法,通过时间切片和投影技术实现了对复杂运动和细节的建模,并在实时渲染方面取得了显著的效果和效率优势。
Feb, 2024