$E^{3}$Gen:高效、表达丰富且可编辑的人物生成
使用高斯飞溅生成逼真的可动化虚拟角色,并通过基于文本描述的图像生成方法,解决了网格或 NeRF 表示所带来的灵活性和效率方面的限制,具有出色的外观和几何质量,并具有极快的渲染速度(100 FPS)以及 1K 分辨率。
Dec, 2023
该论文介绍了一种名为 GEA 的新方法,基于 3D 高斯模型,创建具有高保真度的身体和手部重建,提出了两个关键贡献:一是通过两阶段姿势估计方法从输入图像中获取准确的 SMPL-X 姿势,提供训练图像像素与 SMPL-X 模型之间的正确映射;二是提出了迭代初始化策略来处理高斯表示面临的不平衡聚合和初始化偏差问题,通过网格化、重采样和重新高斯化等操作将 avatar 的高斯点均匀分布在人体表面附近,实现了更高质量的渲染,验证了所提模型的有效性,展示了其在照片逼真的新视图合成和对人体姿势的细致控制方面达到了最先进的性能。
Feb, 2024
高保真度 3D 头像模型的研究中,轻量级稀疏视图下依然存在很大挑战。本文提出了用可控的 3D 高斯模型表示的高保真度的头像模型。我们优化了中性 3D 高斯模型以及基于完全学习的 MLP 变形场,用于捕捉复杂表情。这两部分互相有益,因此我们的方法可以在保证表情精度的同时模拟细致的动态细节。此外,我们基于隐式 SDF 和深度 Marching Tetrahedra 设计了一个良好的几何引导初始化策略,以确保训练过程的稳定性和收敛性。实验证明,我们的方法优于其他最先进的稀疏视图方法,在夸张的表情下实现了 2K 分辨率下的超高保真度渲染质量。
Dec, 2023
通过使用基于三维高斯曲面的动态三维表示以及参数可变的脸部模型,我们介绍了一种新的方法 ——GaussianAvatars,用于创建在表情、姿势和视角方面可完全控制的逼真头像。
Dec, 2023
本研究聚焦于通过学习来自单目 RGB 视频的人类化身的表现力,介绍了一种可驾驶的人类模型 EVA,该模型通过基于 3D 高斯分布和 SMPL-X 的精细塑造,旨在提升表现力;研究重点包括解决 SMPL-X 模型与 RGB 帧对齐的重要性、上下文感知的密度控制策略以及预测的反馈机制。在两个基准测试上进行的大量实验证明了我们的框架在定量和定性上的优越性,尤其在手部和面部细节方面。
Jul, 2024
本文提出 AvatarGen 方法,是第一种通过仅使用 2D 图像训练,能够生成高保真度外观和可控几何形状的、解耦式的可控人体动画的方法。
Nov, 2022
我们介绍了用于建模逼真头部 Avatar 的 3D 高斯混合形状。通过将一个单眼视频作为输入,我们学习到由中性表情组成的基本头部模型以及一组表情混合形状,其中每个形状对应于经典参数化面部模型中的一个基本表情。通过对表情系数进行高斯线性混合,中性模型和表情混合形状可以有效地生成任意表情的 Avatar 模型。与现有方法相比,我们的高斯混合形状表示更好地捕捉了输入视频所展示的高频细节,同时实现了更优越的渲染性能。
Apr, 2024
我们提出了 GaussianAvatar,一种从单个视频中创建具有动态 3D 外观的逼真人类化身的高效方法。通过引入可动画化的 3D 高斯函数来明确表示各种姿势和服装风格的人类,可以更有效和一致地从 2D 观察中融合 3D 外观。我们的表示进一步增强了动态属性,以支持姿势相关的外观建模,其中设计了一个动态外观网络和可优化特征张量来学习运动到外观的映射。此外,通过利用可微分的运动条件,我们的方法在化身建模过程中使得动作和外观能够进行联合优化,有助于解决单眼设置中不准确的运动估计问题。GaussianAvatar 的有效性在公共数据集和我们的收集数据集上得到验证,展示了其在外观质量和渲染效率方面的优越性能。
Dec, 2023
GGAvatar 是一种新颖的 3D 头像表示方法,用于稳健地建模具有复杂身份和变形的动态头像。通过采用自适应密度控制策略将高斯原语与可变形三角网格配对,Neutral Gaussian Initialization Module 为目标主体的几何结构建模中性表情。Geometry Morph Adjuster 将全局空间中的适应变形基引入每个高斯,有效地创建形变行为的精细低维表示,以解决线性混合蒙皮公式的局限性。大量实验证明,GGAvatar 能够产生高保真度的渲染结果,在视觉质量和定量指标方面优于最先进的方法。
May, 2024