高斯壳图在高效 3D 人体生成中的应用
基于文本提示生成真实的 3D 人体是一项令人向往但具有挑战性的任务。本文提出了一种高效而有效的框架 HumanGaussian,通过结构感知的 SDS 和退火负向提示引导,以及适应性高斯喷洒渲染器,在细节和训练时间方面取得了优越的性能。
Nov, 2023
该研究解决了从多视角视频中学习的逼真人体化身的实时渲染问题,通过提出了基于三维高斯散点的可动态化的人体模型,相较于现有方法,在 THuman4 数据集上呈现了 1.5dbB 更好的 PSNR,并能以 20fps 或更高的速度进行渲染。
Nov, 2023
本文介绍了一种利用高斯表示三维生成对抗网络(3D GANs)的生成器架构,通过引入分层多尺度高斯表示有效地规范了生成高斯分布的位置和尺度,实现了显著更快的渲染速度,并具备可比较的三维生成能力。
Jun, 2024
从单幅图像中学习可推广的三维人体高斯模型,通过扩散引导的三维人体建模框架,结合几何先验和注意机制,有效地恢复细节几何形状和外观,并具备在自然环境中的强大泛化能力。
Jun, 2024
最近在 3D 内容创建方面的最新进展主要利用基于优化的 3D 生成通过得分蒸馏抽样(SDS)。尽管取得了有希望的结果,但这些方法往往受到每个样本优化速度慢的限制,限制了它们的实际应用。本文提出了 DreamGaussian,一个同时实现效率和质量的创新性 3D 内容生成框架。我们的关键见解是在 UV 空间中设计了一个具有伴随网格提取和纹理细化功能的生成性 3D 高斯飞溅模型。与神经辐射场中使用的占位修剪不同,我们证明了 3D 高斯曲线的渐进致密化对于 3D 生成任务的收敛速度更快。为了进一步提高纹理质量并促进下游应用,我们引入了一种将 3D 高斯曲线转换为纹理网格的高效算法,并应用了一个微调阶段来细化细节。大量实验证明了我们提出方法的卓越效率和竞争的生成质量。值得注意的是,DreamGaussian 从单视图图像中仅用 2 分钟即可生成高质量的纹理网格,与现有方法相比加速了大约 10 倍。
Sep, 2023
通过使用多层纹理网格和 alpha 合成方法,本研究提出了一种基于分层曲面体积(LSVs)的新型立体人体对象表示方法,用于生成高质量连贯的 3D 立体数字人。
Jul, 2023
从大型 2D 图像集合中学习 3D 头部先验是实现高质量 3D 意识人体建模的重要步骤。本研究提出了一种有效的架构,名为 Generative Gaussian Heads(GGHead),其采用了最近的 3D 高斯光斑表示法,并结合了 2D 图像生成器和全变差损失,能够快速生成并渲染具有高分辨率和全局 3D 一致性的头部实例。
Jun, 2024
通过 GPS-Gaussian 方法,我们可以实时合成一个字符的新视图,以稀疏的视图相机设置进行 2K 分辨率渲染。通过在源视图上定义高斯参数图并直接回归高斯喷洒属性,我们无需进行任何微调或优化即可实现即时的新视图合成。我们通过大量的人体扫描数据对高斯参数回归模块进行训练,同时使用深度估计模块将 2D 参数图转化为 3D 空间。实验结果表明,我们的方法在几个数据集上优于最先进的方法,同时实现了非凡的渲染速度。
Dec, 2023
Scaffold-GS 方法使用锚点在视场内基于视线方向和距离动态分布局部的 3D Gaussians,有效地减少冗余的 Gaussians,同时能够实现高质量渲染。
Nov, 2023
通过 3D 高斯模糊表示 animatable 的人物及其所在的场景,以实现对动画人物的新姿势合成和人物和场景的新视图合成,并在提高渲染质量的同时,训练速度更快。
Nov, 2023