PointAvatar: 从视频中生成可变形基于点的头像
从单目肖像视频中学习具有高效变形能力和渲染效率的头像,提出了使用三维高斯点表示和高斯变形场学习显式头像的新方法。通过适应性形状的高斯点和高斯变形场,实现了与目标姿态和表情相对应的运动,进而实现了高效的变形。同时,高斯点具有可控的形状、大小、颜色和透明度,结合高斯点渲染技术,提高了训练和渲染的效率,实验结果证明了该方法在头像学习中的卓越性能。
Dec, 2023
提出了一种名为 IMavatar 的新方法,可以从单目视频中生成隐式头像。通过学习混合形状和蒙皮场来表示表情和姿势相关的变形,使得这些属性可以用于完成新表情和姿态下的几何和纹理场的变形,并通过光线行进和迭代根查找,为每个像素定位规范表面交点,从而实现了头像的生成,并通过端到端的训练,得出了比现有技术更完整的表情空间和几何形状。
Dec, 2021
我们提出了神经头像,该方法能够显式建模动画人物头像的表面几何形状和外观,是虚拟现实和其他电影或游戏应用中数字人物的一种有效表示方法,它能够从单目 RGB 人像视频中学习,能够精确地外推到未知姿态和观察角度,并产生自然的表情和清晰的纹理细节。
Dec, 2021
我们提出了一种从单一单目视频中学习可个性化动画的、具有几何精度、逼真性、可重新照明性并且与当前渲染系统兼容的 3D 头像人物模型的高效方法。
Oct, 2023
通过仅有零散视频进行光照未知环境下,可用于合成人类真实照片的新视角、姿势和光照的可重光和可动画化神经化身的轻量级创建方法。该方法中的关键挑战在于分解几何、服装主体的材质和光照,而由于身体运动引起的复杂几何和阴影的变化使得问题更加困难。为了解决这个不适定问题,我们提出了新的技术来更好地建模几何和阴影变化。对于几何变化建模,我们提出了可逆变形场,有助于解决逆皮肤问题并提高几何质量。为了建模空间和时间变化的光照线索,我们提出了一种姿势感知的部位光可见性网络来估计光线遮挡。在合成和真实数据集上进行了大量实验证明,我们的方法可以重构高质量的几何并在不同的身体姿势下生成逼真的阴影。源代码和数据可在 https://wenbin-lin.github.io/RelightableAvatar-page/ 上获取。
Dec, 2023
介绍了一种利用离散几何基元创建参数化可变形形状模型,并利用三维高斯进行细节表示和高保真渲染的新型框架 PSAvatar,能够重建各种对象的高保真头像,实现实时动画效果(分辨率为 512 x 512,帧率≥25fps)。
Jan, 2024
本文提出了 AvatarStudio—— 一种基于文本的方法,用于编辑动态全头人物角色的外观。该方法与现有的神经辐射场 (NeRF) 捕捉动态表现的工作相结合,并用文本 - 图像扩散模型对其进行编辑。经过我们视觉和数字方面的用户体验后,发现我们的方法优于现有的方法。
Jun, 2023
提出一种将神经点表示和神经体渲染结合的方法,使用高分辨率 UV 位移贴图约束神经点来实现更准确的表情控制,通过使用 GEP 射线采样策略和轻量级辐射解码过程,提高了渲染和训练效率。在 Multiface 数据集上通过实验验证了该方法的有效性。
Jul, 2023
为了实现真实的 AR/VR 和数字娱乐体验,我们提出了第一个点云人物模型,它涵盖了数字人物的全部表达范围。我们使用两个多层感知器来建模姿势相关的变形和线性蒙皮权重。外观的表示依赖于解码器和附加到每个点的特征。与替代的隐式方法相比,朝向点的表示不仅提供了更直观的方式来建模人物动画,还显著减少了训练和推理时间。此外,我们提出了一种新的方法将语义信息从 SMPL-X 模型转移到点云中,从而更好地理解人体运动。通过利用点的语义信息,我们可以通过在不同主体之间交换相同类别的点来促进虚拟试穿和人物组合。实验结果证明了我们提出方法的效果。
Nov, 2023