特征投射与基于语言的基于物理的场景合成和编辑

Apr, 2024

特征投射与基于语言的基于物理的场景合成和编辑

Feature Splatting: Language-Driven Physics-Based Scene Synthesis and Editing

Ri-Zhao Qiu, Ge Yang, Weijia Zeng, Xiaolong Wang

TL;DR使用 3D 高斯原始物体来建模静态和动态 3D 场景的外观已经取得了优秀的结果。本研究提出了一种统一物理动态场景合成和由自然语言支持的丰富语义的特征平面化方法。通过将高质量的面向对象视觉语言特征整合为 3D 高斯模型，能够利用文本查询实现半自动场景分解。同时，通过基于粒子的模拟器从静态场景中合成物理动力学，通过文本查询自动分配材料属性。本研究在这一流程中消去了关键技术，以说明将携带特征的 3D 高斯模型作为外观、几何、材料属性和基于自然语言的语义的统一格式的挑战和机遇。

Abstract

Scene representations using 3d gaussian primitives have produced excellent results in modeling the appearance of static and dynamic 3D scenes. Many graphics applications, however, demand the ability to manipulate both the appearance and the physical properties of objects. We introduce

3d gaussian primitives feature splatting physics-based dynamic scene synthesis vision-language features particle-based simulator

发现论文，激发创造

实时动态视角合成的时空高斯特征喷洒

提出了一种新的动态场景视图合成方法，通过引入时间、运动和旋转参数增强了三维高斯函数，使用神经特征进行渲染，同时在具有挑战性的区域中利用训练误差和粗略深度进行高分辨率、实时渲染，并保持紧凑存储。

Dec, 2023

特征分割以减少重叠度的优化新视角合成

利用特征喷溅（FeatSplat）将三维高斯场的颜色信息编码到每个高斯特征向量中，进而通过小型 MLP 解码融合的特征向量以生成 RGB 像素值，且通过叠加相机嵌入来条件解码以包含视角信息。实验证明，该方法显著提高了对训练视图之外远离的低重叠视图的新视图合成，并展示了特征向量表示的能力不仅可以生成新视图的 RGB 值，还可以生成每个像素的语义标签。

May, 2024

三维几何感知的可变形高斯光斑在动态视图合成中的应用

本文提出了一种 3D 几何感知可变形高斯喷洒方法，用于动态视图合成。我们的解决方案通过显式提取和融合 3D 几何特征来实现 3D 几何感知的变形建模，从而实现改进的动态视图合成和 3D 动态重建。

Apr, 2024

3DitScene：基于语言引导的解耦高斯投影进行任意场景编辑

通过语言引导的分离高斯细分并融合三维数据，3DitScene 提供了一种从二维到三维的全新统一场景编辑框架，实现了对场景构成和单个对象的精确控制，从而革新创造性表达方式并增强场景和对象的控制能力。

May, 2024

高斯飞溅：高斯喷铺动态流体合成

利用物理动画、三维高斯点喷涂（3DGS）与基于位置的动力学（PBD）相结合的方法，创建具有非凡效果的虚拟场景重建。通过增强高斯核并与表面法向对齐，实现实时渲染、视角合成以及对固体和流体的动力学模拟。具备物理可行性的渲染和动态表面反射在流体上，产生真实的表面亮点，促进场景物体与流体之间的交互。

Jan, 2024

高斯抓取器：面向开放词汇的 3D 语义高斯点云描绘机器人抓取

通过使用 GaussianGrasper，可以利用 3D 高斯喷洒技术将场景明确地表示为一系列高斯原语，并通过语言指令使机器人能够准确查询和抓取对象，为语言引导的操作任务提供了新的解决方案。

Mar, 2024

HUGS: 通过高斯分布点绘制进行城市环境全面三维场景理解

基于 RGB 图像的城市场景的整体理解是一个具有挑战性但重要的问题，本文提出了一种利用三维高斯点云分布的新型管道，通过联合优化几何、外观、语义和动作，实现对城市场景的整体理解，并在实验证明了我们方法的有效性。

Mar, 2024

SC-GS：用于可编辑动态场景的稀疏控制高斯喷洒

基于高斯散开技术的稀疏控制点和稠密高斯的运动与外观分解，用于动态场景的新视角合成。

Dec, 2023

超点高斯飞溅实时高保真动态场景重建

提出了一种名为 Superpoint Gaussian Splatting（SP-GS）的新框架，该框架通过使用显式的 3D 高斯函数来重构场景，并将具有相似属性的高斯函数聚类成超点，从而实现了对动态场景的实时渲染，获得了最新的视觉质量。

Jun, 2024

DreamScene360: 无约束的文本到 3D 场景生成与全景高斯喷洒

我们提供了一个文本转 3D 360 度场景生成流水线，能够在几分钟内为野外环境创建综合的 360 度场景。我们的方法利用 2D 扩散模型的生成能力和提示自我完善来创建高质量和全局连贯的全景图像，这作为一个初步的 “平面”（2D）场景表示。随后，通过采用粒子技术将它提升到 3D 高斯函数，以实现实时浏览。为了产生一致的 3D 几何结构，我们的流水线通过将 2D 单目深度对齐成全局优化点云，构建了一个空间连贯的结构。这个点云作为 3D 高斯函数的初始状态的质心。为了解决单视角输入固有的不可见问题，我们对合成和输入相机视图应用语义和几何约束作为规范，这些约束指导高斯函数的优化，帮助重建不可见的区域。总之，我们的方法提供了一个全局一致的 360 度视角的 3D 场景，相较于现有技术提供了更加增强的沉浸式体验。项目网址：this http URL

Apr, 2024