高斯隐写:生成 3D 高斯喷点的通用隐写流程
提出了一种针对 3D 高斯喷洒的隐写术框架,名为 GS-Hider,可将 3D 场景和图像隐写到原始的 GS 点云中,且能准确提取隐藏的信息。
May, 2024
最近在 3D 内容创建方面的最新进展主要利用基于优化的 3D 生成通过得分蒸馏抽样(SDS)。尽管取得了有希望的结果,但这些方法往往受到每个样本优化速度慢的限制,限制了它们的实际应用。本文提出了 DreamGaussian,一个同时实现效率和质量的创新性 3D 内容生成框架。我们的关键见解是在 UV 空间中设计了一个具有伴随网格提取和纹理细化功能的生成性 3D 高斯飞溅模型。与神经辐射场中使用的占位修剪不同,我们证明了 3D 高斯曲线的渐进致密化对于 3D 生成任务的收敛速度更快。为了进一步提高纹理质量并促进下游应用,我们引入了一种将 3D 高斯曲线转换为纹理网格的高效算法,并应用了一个微调阶段来细化细节。大量实验证明了我们提出方法的卓越效率和竞争的生成质量。值得注意的是,DreamGaussian 从单视图图像中仅用 2 分钟即可生成高质量的纹理网格,与现有方法相比加速了大约 10 倍。
Sep, 2023
提出了一种名为 GaussianDreamerPro 的新框架,通过将高斯函数与合理几何形状相结合,逐步丰富几何与外观,构建了与以前方法相比具有显着改进细节和质量的 3D 高斯函数绑定网格的生成资产,可无缝集成于下游操作流水线,大大扩展了其在广泛应用中的潜力。
Jun, 2024
我们提出了 latentSplat,一种在 3D 潜在空间中预测语义高斯分布并能够通过轻量级生成的 2D 架构进行解码的方法。我们的方法结合了基于回归的方法和生成模型,通过训练纯粹基于现有真实视频数据,在相同的方法中实现了高分辨率新视图的快速推断和 360 度泛化插值。latentSplat 在重建质量和泛化能力上优于先前的方法,并且对于高分辨率数据具有快速且可扩展的特性。
Mar, 2024
基于高斯喷射的文本到三维内容生成框架,通过控制高斯球的透明度实现更真实的图像生成;通过引入多视角噪声分布矫正多视角几何中的不一致性;使用变分高斯喷射技术提高三维外观的质量和稳定性。
Nov, 2023
提出了 CG3D 方法,通过使用显式高斯辐射场来生成可扩展的三维资产,解决了基于文本的三维生成的限制,能够产生详细的多物体场景,并通过使用显式表示构建指导框架,在对象组合和物理准确性方面展示了领先于现有模型的结果。
Nov, 2023
使用一组高斯椭球来模拟场景,从而实现高效渲染,3D 高斯喷涂表示法具有快速渲染、动态重建、几何编辑和物理模拟等优点。本文通过对最近的 3D 高斯喷涂方法进行文献综述,提供了一个 3D 高斯喷涂方法的分类,包括 3D 重建、3D 编辑和其他功能应用,以及传统的基于点的渲染方法和 3D 高斯喷涂的渲染公式,旨在帮助初学者快速了解这一领域并为经验丰富的研究者提供全面的概述,以推动 3D 高斯喷涂表示法的未来发展。
Mar, 2024
我们提供了一个文本转 3D 360 度场景生成流水线,能够在几分钟内为野外环境创建综合的 360 度场景。我们的方法利用 2D 扩散模型的生成能力和提示自我完善来创建高质量和全局连贯的全景图像,这作为一个初步的 “平面”(2D)场景表示。随后,通过采用粒子技术将它提升到 3D 高斯函数,以实现实时浏览。为了产生一致的 3D 几何结构,我们的流水线通过将 2D 单目深度对齐成全局优化点云,构建了一个空间连贯的结构。这个点云作为 3D 高斯函数的初始状态的质心。为了解决单视角输入固有的不可见问题,我们对合成和输入相机视图应用语义和几何约束作为规范,这些约束指导高斯函数的优化,帮助重建不可见的区域。总之,我们的方法提供了一个全局一致的 360 度视角的 3D 场景,相较于现有技术提供了更加增强的沉浸式体验。项目网址:this http URL
Apr, 2024
我们介绍了 GauStudio,一个新颖的模块化框架,用于建模 3D 高斯飞溅(3DGS),为用户提供标准化的即插即用组件,以便轻松定制和实现 3DGS 流程。支持我们的框架,我们提出了一种具有前景和天空球背景模型的混合高斯表示方法。实验证明,这种表示方法减少了无边界户外场景中的伪影,并改善了新颖视角合成。最后,我们提出了高斯飞溅表面重建(GauS)方法,它是一种从 3DGS 输入中进行高保真网格重建的新的先渲染再融合的方法,无需微调。总的来说,我们的 GauStudio 框架,混合表示方法和 GauS 方法增强了 3DGS 建模和渲染能力,实现了更高质量的新视角合成和表面重建。
Mar, 2024