利用非正式单眼视频创建可控制的人像
使用 3D 高斯喷洒(3DGS),我们介绍了一种从单目视频中创建可以动画化的人体化身的方法。通过学习非刚性变形网络和引入不同性的正则化,我们的方法在训练和推理速度上比现有的技术分别快 400 倍和 250 倍,并实现了与最先进方法相媲美甚至更好的性能。
Dec, 2023
我们提出了可驾驶的三维高斯化身模型(D3GA),这是第一个使用高斯分布点渲染的人体三维可控模型。与当前逼真的可驾驶化身需要精确的三维注册训练或者密集输入图像测试(或两者都需要)不同,我们使用最近提出的三维高斯分布点技术(3DGS)以实时帧率渲染逼真的人体,使用密集标定的多视角视频作为输入。与通常使用的线性融合蒙皮点变形方法(LBS)不同,我们使用经典的容积形变方法来变形这些形状,即笼状形变。我们使用关节角度和关键点驱动这些形变,因为它们更适用于通信应用。当使用相同的训练和测试数据时,我们在九个不同的体态、服装和动作的实验对象上获得了比现有最先进方法更高质量的结果。
Nov, 2023
提出了使用三维高斯斑点(3DGS)进行三维头部重建和动画的 HeadGaS 模型,其利用可学习的潜在特征扩展了 3DGS 的显式表示,并与参数化头部模型的低维参数线性融合,实现表情相关最终颜色和不透明度值。实验证明,HeadGaS 在实时推理帧率方面取得了最先进的结果,超过基线约 2dB,并将渲染速度加速至 10 倍以上。
Dec, 2023
在本文中,我们提出了 MoDGS,这是一个新的管道,可以利用仅有的随意捕捉的单目视频生成动态场景的新视角图像。MoDGS 采用了最近的单视图深度估计方法来指导动态场景的学习,并提出了一种新的三维感知初始化方法来学习合理的变形场和新的鲁棒深度损失来指导动态场景几何结构的学习。全面的实验证明,MoDGS 能够从仅有的随意捕捉的单目视频中生成高质量的动态场景新视角图像,优于基线方法的效果显著。
Jun, 2024
通过 3D 高斯模糊表示 animatable 的人物及其所在的场景,以实现对动画人物的新姿势合成和人物和场景的新视图合成,并在提高渲染质量的同时,训练速度更快。
Nov, 2023
通过使用基于三维高斯曲面的动态三维表示以及参数可变的脸部模型,我们介绍了一种新的方法 ——GaussianAvatars,用于创建在表情、姿势和视角方面可完全控制的逼真头像。
Dec, 2023
本文提出了一种基于新开发的三维生成对抗网络(GANs)的画像图像动画的技术,该技术允许对图像主体的姿态进行明确控制,并展示了该方法在图像质量,身份保护和姿态转移等方面胜过先前的方法,同时支持属性修改。
Mar, 2022
通过单目视频输入的方法,本文提出了一种将世界和多个动态人物在 3D 中进行重构的方法,使用新兴的 3D 高斯涂布(3D-GS)表示法来表达世界和多个人物,解决了 3D 人物重构中常见的观测在 3D 空间中非常有限和稀疏的挑战,并演示了方法在各种具有挑战性的例子中可以重构出高质量的可动画 3D 人物,并且在重构后,该方法可以以任意时间片段渲染场景并编辑 3D 场景。
Apr, 2024
提出了一种新的运动感知增强框架,通过挖掘光流中的有用运动线索来改进动态场景重建,以提高不同动态 3D 高斯喷溅方式的性能,并针对基于形变的范例提出了一种瞬态感知形变辅助模块。经过广泛的实验证明,与基线相比,我们的方法在渲染质量和效率方面都表现出明显的优势。
Mar, 2024
该研究介绍了 FAGhead 方法,通过使用单目视频,基于传统的三维可塑网格形状和优化中性三维高斯模型,结合可学习的高斯点位置的基于点的可学习表示场(PLRF),以及通过引入 alpha 渲染来管理化身的边缘,实现了高保真度的三维人头像重建和完全控制虚拟图像的表情和姿态,超越了现有方法的性能。
Jun, 2024