StylizedGS: 可控的 3D 高斯描绘美化

Apr, 2024

StylizedGS: Controllable Stylization for 3D Gaussian Splatting

Dingxi Zhang, Zhuoxun Chen, Yu-Jie Yuan, Fang-Lue Zhang, Zhenliang He...

TL;DR本文介绍了 StylizedGS，一种具有对感知因素可调控能力的 3D 神经风格迁移框架，基于 3D 高斯粒子喷洒 (3DGS) 表征。通过引入 GS 滤波器消除飘逸物，然后使用基于最近邻的风格损失来通过微调 3DGS 的几何和颜色参数来实现风格化，同时提出了一种具有其他正则化的深度保持损失来防止几何内容的篡改。此外，借助特别设计的损失函数，StylizedGS 使用户可以在风格化过程中控制颜色、风格化比例和区域，具备定制化能力。广泛的实验证明了我们的方法在风格化质量和推理帧数方面的效果和效率。

Abstract

With the rapid development of XR, 3d generation and editing are becoming more and more important, among which, stylization is an important tool of 3D appearance editing. It can achieve consistent 3D artistic

3d generation stylization nerf-based perceptual factors 3d neural style transfer

发现论文，激发创造

高斯飞溅式生成

使用三维高斯喷洒方法进行场景风格化研究，通过在多视角环境中保持一致的风格外观来产生高质量的风格化新视角，实现了在增强现实或虚拟现实应用中具有卓越视觉质量的最新表现。

Mar, 2024

StyleGaussian：高斯喷点实时三维风格迁移

我们介绍了一种新的 3D 风格转移技术 StyleGaussian，它能够以每秒 10 帧的速度将任何图像的风格转移到 3D 场景中。通过利用 3D 高斯分布，StyleGaussian 在不损害实时渲染能力和多视图一致性的基础上实现了风格转移。通过三个步骤：嵌入、转移和译码实现了即时的风格转移。StyleGaussian 具有两个新颖的设计：第一个是高效的特征渲染策略，首先渲染低维特征，然后将其映射到高维特征，在嵌入 VGG 特征时，大大减少了内存消耗，并使 3D 高斯分布能够呈现内存密集型的高维特征；第二个是基于 K 最近邻的 3D 卷积神经网络，作为特征的解码器，消除了破坏严格多视图一致性的 2D 卷积操作。广泛的实验表明，StyleGaussian 在保持实时渲染和严格多视图一致性的同时实现了即时的 3D 风格化，并且具有优越的风格化质量。

Mar, 2024

3D 高斯点云渲染调查

3D 高斯喷洒是一种能够实时渲染的、可控且可编辑的 3D 重建和表示方法，通过显式场景表示和可微分的渲染算法，提供了独特的优势，为下一代 3D 重建和表示技术带来了潜在的变革。本文首次系统综述了 3D 高斯喷洒的最新进展和重要贡献，包括其背后的原理、应用可行性以及各类基准任务下的性能和实用性评估，并指出当前挑战和未来研究的发展方向。

Jan, 2024

Mani-GS: 三角网格的高斯飞溅操作

利用三角形网格直接操纵三维高斯喷洒，实现可操作的逼真渲染，并通过三角形形状感知的高斯绑定和自适应方法，实现三维高斯喷洒的操纵和保持高保真渲染。

May, 2024

3D 高斯点绘制的近期进展

使用一组高斯椭球来模拟场景，从而实现高效渲染，3D 高斯喷涂表示法具有快速渲染、动态重建、几何编辑和物理模拟等优点。本文通过对最近的 3D 高斯喷涂方法进行文献综述，提供了一个 3D 高斯喷涂方法的分类，包括 3D 重建、3D 编辑和其他功能应用，以及传统的基于点的渲染方法和 3D 高斯喷涂的渲染公式，旨在帮助初学者快速了解这一领域并为经验丰富的研究者提供全面的概述，以推动 3D 高斯喷涂表示法的未来发展。

Mar, 2024

基于网格的高斯映射在实时大规模变形中的应用

通过创新的基于网格的高斯喷洒（GS）表示方法，在保持高质量渲染结果的同时，实现了高质量的重构和有效的变形，每秒平均 65 帧。

Feb, 2024

RaDe-GS：高斯投影深度

高斯飞溅在新视角合成方面已被证明具有很高的效果，但对于重建细节丰富的 3D 形状尚未充分探索。本研究介绍了一种栅格化方法来渲染通用 3D 高斯飞溅的深度图和表面法线图，大大提高了形状重建的准确性，并保持高斯飞溅的计算效率。该方法在 DTU 数据集上达到与 NeuraLangelo 相当的 Chamfer 距离误差，并保持与传统高斯飞溅相似的训练和渲染时间。该方法是高斯飞溅的重要进展，可以直接集成到现有的基于高斯飞溅的方法中。

Jun, 2024

3D-HGS: 三维半高斯飘带

基于神经渲染技术，本研究提出了一种使用 3D Half-Gaussian 核的方法，以改进当前 3D Gaussian splatting 方法的性能，在不影响渲染速度的情况下，在多个数据集上获得了最先进的渲染性能。

Jun, 2024

WE-GS: 无约束照片集的野外高效 3D 高斯表示

基于 3D 高斯扩散的新视角合成方法在各种场景下表现出了良好的性能，本文提出了一种高效的基于点的可微渲染框架，用于从照片集合中重建场景，通过引入基于残差的球谐系数传输模块，将 3D 高斯扩散方法适应于不同的光照条件和光度后处理，同时引入了一个轻量级的空间注意力模块，可同时预测暂时遮挡物和隐含外观表示，实验结果表明，该方法在新视角和外观合成的渲染质量上优于现有方法，并拥有较高的收敛速度和渲染速度。

Jun, 2024

新视觉时代中的 3D 高斯：综述

3D 高斯散射（3D-GS）是计算机图形学领域的重要进展，提供了明确的场景表示和新颖的视图合成技术，而无需依赖神经网络（如神经辐射场（NeRF））。本文对 3D 高斯散射的相关论文进行了全面调研，将调查结果按照特征和应用进行分类，介绍了 3D 高斯散射的理论基础。旨在使新研究人员了解 3D 高斯散射，提供领域中的重要参考文献，并启发未来的研究方向，如本文的结论部分所讨论的。

Feb, 2024