使用 3D 高斯原始物体来建模静态和动态 3D 场景的外观已经取得了优秀的结果。本研究提出了一种统一物理动态场景合成和由自然语言支持的丰富语义的特征平面化方法。通过将高质量的面向对象视觉语言特征整合为 3D 高斯模型，能够利用文本查询实现半自动场景分解。同时，通过基于粒子的模拟器从静态场景中合成物理动力学，通过文本查询自动分配材料属性。本研究在这一流程中消去了关键技术，以说明将携带特征的 3D 高斯模型作为外观、几何、材料属性和基于自然语言的语义的统一格式的挑战和机遇。

Apr, 2024

我们的研究论文介绍了一种基于高斯分层投影新颖 3D 编辑算法的 GaussianEditor，通过高斯语义跟踪精确控制编辑目标，结合 Hierarchical Gaussian splatting (HGS) 方法实现对象的有效去除和整合，从而在 3D 编辑领域取得了显著的进展。

Nov, 2023

通过引入新的方法，该研究论文介绍了一种从单个参考视图快速编辑 3D 模型的技术，其中包括分割编辑图像、使用 DINO 特征在选择的分割数据集视图之间匹配语义对应区域，并以语义合理的方式自动将编辑图像的特定区域的颜色或纹理变化应用于其他视图，以便进一步训练和重新样式化 3D 场景。

Jun, 2024

我们提供了一个文本转 3D 360 度场景生成流水线，能够在几分钟内为野外环境创建综合的 360 度场景。我们的方法利用 2D 扩散模型的生成能力和提示自我完善来创建高质量和全局连贯的全景图像，这作为一个初步的 “平面”（2D）场景表示。随后，通过采用粒子技术将它提升到 3D 高斯函数，以实现实时浏览。为了产生一致的 3D 几何结构，我们的流水线通过将 2D 单目深度对齐成全局优化点云，构建了一个空间连贯的结构。这个点云作为 3D 高斯函数的初始状态的质心。为了解决单视角输入固有的不可见问题，我们对合成和输入相机视图应用语义和几何约束作为规范，这些约束指导高斯函数的优化，帮助重建不可见的区域。总之，我们的方法提供了一个全局一致的 360 度视角的 3D 场景，相较于现有技术提供了更加增强的沉浸式体验。项目网址：this http URL

Apr, 2024

GSEdit 是一个基于高斯打样模型的文本引导下的三维物体编辑管道，它能够在几分钟内通过消费者硬件，编辑三维物体的风格和外观而不破坏其主要细节。

Mar, 2024

通过识别每个高斯函数的紧凑身份编码，我们将高斯函数根据其对象实例或物体成员资格在三维场景中分组，从而实现了高质量的三维重建、分割和编辑，同时通过 SAM 的二维掩模预测和引入的三维空间一致性正则化来监督身份编码，通过 Gaussian Grouping 进一步提出了一种本地高斯编辑方案，用于 3D 对象移除、修复、上色和场景重组等多种场景编辑应用。

Dec, 2023

DreamScape 是一种通过文本描述创建高度一致的 3D 场景的方法，利用高斯飞溅和大型语言模型的强大 3D 表示能力，并通过局部到整体优化来解决多实例和复杂排列的挑战。

Apr, 2024

通过提出一种称为 Texture-GS 的新方法，使用 3D 高斯喷射技术，可以实现高保真的外观编辑和实时渲染。它通过将外观和几何表示为附着在三维表面上的二维纹理来实现外观与几何的解离，从而增强了编辑操作的灵活性。通过在 DTU 数据集上进行广泛实验证明，该方法不仅实现了高保真度的外观编辑，还在消费级设备上实现了实时渲染。

Mar, 2024

通过使用 GaussianGrasper，可以利用 3D 高斯喷洒技术将场景明确地表示为一系列高斯原语，并通过语言指令使机器人能够准确查询和抓取对象，为语言引导的操作任务提供了新的解决方案。

Mar, 2024

提出了 GaussCtrl，一种使用文本驱动的方法来编辑由 3D Gaussian Splatting (3DGS) 重建的 3D 场景。该方法首先通过使用 3DGS 渲染一系列图像，然后使用基于输入提示的预训练二维扩散模型 (ControlNet) 对这些图像进行编辑，从而优化 3D 模型。我们的主要贡献是多视角一致性编辑，使得能够同时编辑所有图像，而不像以前的方法那样需要逐个编辑图像并更新 3D 模型。这导致更快的编辑速度和更高的视觉质量。这是通过以下两个方面实现的：(a) 基于深度的编辑，通过利用天然一致的深度图加强了多视角图像之间的几何一致性。(b) 基于注意力的潜在代码对齐，通过在图像的潜在表示之间进行自注意力和跨视图注意力，使编辑图像的外观统一于多个参考视图。实验表明，与之前的最先进方法相比，我们的方法实现了更快的编辑速度和更好的视觉效果。

Mar, 2024