Mar, 2024
StyleGaussian：高斯喷点实时三维风格迁移
StyleGaussian: Instant 3D Style Transfer with Gaussian Splatting
Kunhao Liu, Fangneng Zhan, Muyu Xu, Christian Theobalt, Ling Shao...
TL;DR我们介绍了一种新的 3D 风格转移技术 StyleGaussian，它能够以每秒 10 帧的速度将任何图像的风格转移到 3D 场景中。通过利用 3D 高斯分布，StyleGaussian 在不损害实时渲染能力和多视图一致性的基础上实现了风格转移。通过三个步骤：嵌入、转移和译码实现了即时的风格转移。StyleGaussian 具有两个新颖的设计：第一个是高效的特征渲染策略，首先渲染低维特征，然后将其映射到高维特征，在嵌入 VGG 特征时，大大减少了内存消耗，并使 3D 高斯分布能够呈现内存密集型的高维特征；第二个是基于 K 最近邻的 3D 卷积神经网络，作为特征的解码器，消除了破坏严格多视图一致性的 2D 卷积操作。广泛的实验表明，StyleGaussian 在保持实时渲染和严格多视图一致性的同时实现了即时的 3D 风格化，并且具有优越的风格化质量。