HeadGAP:通过可泛化的高斯先验实现少样本三维头像生成
该研究提出了一种通过对单视角幅面图像进行重建和动画化的三维头像,通过三个三角面分别捕捉源图像的粗略三维几何,详细外观以及目标图像的表情实现,再通过超分辨率模块的渲染进行填充并通过单向传递网络的高效性进行动画。实验表明,该方法在重建和动画方面优于当前最先进的基线方法,并且对新的验证数据集有很好的泛化能力。
Jun, 2023
基于3D高斯原理,我们提出了一个名为GaussianHead的头像算法,它在头部几何和三面平面的因素对齐变换有效消除了固定映射引入的偏见,使得在自重建、新视图合成和跨身份再现等任务中获得了最佳的可视效果,并保持高渲染效率(每帧0.12秒)。有关代码和其他视频可以在项目主页上找到。
Dec, 2023
提出了使用三维高斯斑点(3DGS)进行三维头部重建和动画的HeadGaS模型,其利用可学习的潜在特征扩展了3DGS的显式表示,并与参数化头部模型的低维参数线性融合,实现表情相关最终颜色和不透明度值。实验证明,HeadGaS在实时推理帧率方面取得了最先进的结果,超过基线约2dB,并将渲染速度加速至10倍以上。
Dec, 2023
高保真度3D头像模型的研究中,轻量级稀疏视图下依然存在很大挑战。本文提出了用可控的3D高斯模型表示的高保真度的头像模型。我们优化了中性3D高斯模型以及基于完全学习的MLP变形场,用于捕捉复杂表情。这两部分互相有益,因此我们的方法可以在保证表情精度的同时模拟细致的动态细节。此外,我们基于隐式SDF和深度Marching Tetrahedra设计了一个良好的几何引导初始化策略,以确保训练过程的稳定性和收敛性。实验证明,我们的方法优于其他最先进的稀疏视图方法,在夸张的表情下实现了2K分辨率下的超高保真度渲染质量。
Dec, 2023
使用少量图像创建高质量的个性化头像,通过学习生成模型和3DMM锚定的神经辐射场骨干构建先验,实现基于少量输入图像的自动解码,优化3DMM拟合和相机校准以改进少样本自适应,开创了创建更高效个性化头像的道路,超越现有最先进的方法。
Feb, 2024
我们提出了一种混合Mesh-Gaussian头像的方法(MeGA),通过选择增强的FLAME网格作为面部表示,并使用延迟神经渲染获取面部颜色,从而为多个不同组件提供更适合的表示方式,以获得更高保真度的头部渲染,进而支持多种下游任务。
Apr, 2024
我们提出了个性化的高斯本征模型(GEMs)用于人类头部的研究,一种将动态3D高斯压缩为低维线性空间的新方法。我们的方法基于动态3D高斯,创造了适用于大多数3DGS头部角色的原语的低维表示。我们用线性本征基础的集合来提炼控制网络高斯头像的外观的通用方法。通过用蒙特卡洛算法生成点云来组织和压缩头部面部的高斯。我们替换了大量的基于CNN的体系结构,转而使用单个线性层,提高了速度并使一系列实时应用成为可能。
Jul, 2024
本文解决了实时渲染人头头像中复杂运动(如口腔内部和头部姿态变化)表现不佳的问题。提出了一种新方法,通过多视角图像生成高度动态和可变形的人类头头像,核心在于层次化的头部模型表示,使得面部表情和头部动作的复杂动态得以捕捉。该方法在多个数据集上表现优越,展现了跨身份面部表演转移的潜在应用。
Sep, 2024