Oct, 2023

FLARE: 快速学习可动态和可照明的网格化角色

PDF
TL;DR我们提出了一种从单一单目视频中学习可个性化动画的、具有几何精度、逼真性、可重新照明性并且与当前渲染系统兼容的 3D 头像人物模型的高效方法。
personalized animatable 3d head avatarsgeometrically accuraterealistic relightabledifferentiable renderinglearned deformation material and lighting mlps
发现论文，激发创造
  • 可重新照明且可动画化的神经化身模型

    通过仅有零散视频进行光照未知环境下，可用于合成人类真实照片的新视角、姿势和光照的可重光和可动画化神经化身的轻量级创建方法。该方法中的关键挑战在于分解几何、服装主体的材质和光照，而由于身体运动引起的复杂几何和阴影的变化使得问题更加困难。为了解决这个不适定问题，我们提出了新的技术来更好地建模几何和阴影变化。对于几何变化建模，我们提出了可逆变形场，有助于解决逆皮肤问题并提高几何质量。为了建模空间和时间变化的光照线索，我们提出了一种姿势感知的部位光可见性网络来估计光线遮挡。在合成和真实数据集上进行了大量实验证明，我们的方法可以重构高质量的几何并在不同的身体姿势下生成逼真的阴影。源代码和数据可在 https://wenbin-lin.github.io/RelightableAvatar-page/ 上获取。

    Dec, 2023

  • 艺术家友好型可调光和可动画神经头部

    通过使用容积神经场，我们提出了一种新的方法来处理可重光和可动态化的神经头像，结合混合容积原始的动态化身方法以及轻量级硬件设置和新的架构，实现了在任何环境中重新照明的动态神经头像，甚至可以进行未见过的表情。

    Dec, 2023

  • PointAvatar: 从视频中生成可变形基于点的头像

    使用可变形基于点的表示方法 PointAvatar，将颜色和法向量相关联，可以基于单目视频生成高质量的可动画 3D 头像，并在渲染效率和拓扑灵活性方面加强。

    Dec, 2022

  • 单目 RGB 视频生成神经头像

    我们提出了神经头像，该方法能够显式建模动画人物头像的表面几何形状和外观，是虚拟现实和其他电影或游戏应用中数字人物的一种有效表示方法，它能够从单目 RGB 人像视频中学习，能够精确地外推到未知姿态和观察角度，并产生自然的表情和清晰的纹理细节。

    Dec, 2021

  • 稀疏视角视频中可重照和可动画的神经化身

    从稀疏视点（甚至单眼）动态人类视频中的未知照明条件下创建可重新照明和可动画化的神经头像是该论文的主要挑战，为了解决这个问题，作者提出了一种层次化距离查询算法来近似任意人类姿势下的世界空间距离，并基于此算法开发了首个能从稀疏视点（或单眼）输入中恢复出可动画和可重新照明的神经头像的系统，实验证明该方法比现有的方法有着更优秀的结果。

    Aug, 2023

  • 具备内在分解和姿势控制的可重新照明的神经行为模型

    通过基于多视角视频的学习方法，我们提出了可重光的神经网络人体模型，能够实现真实感的光照效果、外观编辑以及任意骨骼姿势控制，并在实际场景中进行了评估，展示了针对新颖人体动作的最新重光效果。

    Dec, 2023

  • 再照明的高斯编解码头像

    通过使用高保真的几何模型和外观模型以及实时渲染技术，我们提出了实时可重光头像的方法，该方法能够捕捉到人脸细节，并支持多种材质的统一呈现。

    Dec, 2023

  • BakedAvatar: 实时头像合成的神经场烘焙技术

    实时神经头像合成方法 BakedAvatar 可用于 VR/AR、远程呈现和视频游戏应用中，通过提取多层可变形网格和计算表情、姿势和视角相关的外观，将结果烘培为静态贴图以提高栅格化效率，并通过差分栅格化来优化贴图细节，从而在减少推理时间的同时生成与先进方法相当质量的合成结果。

    Nov, 2023

  • HR 人形：利用三角网格和视频高分辨率纹理建模人形化身

    通过单目视频实现高分辨率物理材质纹理和三角网格的人体模型的获取并结合多视角图像合成的信息融合策略，通过神经隐式表达生成可编辑的变形人体模型。

    May, 2024

  • 从视频中生成的隐式可塑头像

    提出了一种名为 IMavatar 的新方法，可以从单目视频中生成隐式头像。通过学习混合形状和蒙皮场来表示表情和姿势相关的变形，使得这些属性可以用于完成新表情和姿态下的几何和纹理场的变形，并通过光线行进和迭代根查找，为每个像素定位规范表面交点，从而实现了头像的生成，并通过端到端的训练，得出了比现有技术更完整的表情空间和几何形状。

    Dec, 2021