AAAIDec, 2023

可重新照明且可动画化的神经化身模型

PDF
TL;DR通过仅有零散视频进行光照未知环境下，可用于合成人类真实照片的新视角、姿势和光照的可重光和可动画化神经化身的轻量级创建方法。该方法中的关键挑战在于分解几何、服装主体的材质和光照，而由于身体运动引起的复杂几何和阴影的变化使得问题更加困难。为了解决这个不适定问题，我们提出了新的技术来更好地建模几何和阴影变化。对于几何变化建模，我们提出了可逆变形场，有助于解决逆皮肤问题并提高几何质量。为了建模空间和时间变化的光照线索，我们提出了一种姿势感知的部位光可见性网络来估计光线遮挡。在合成和真实数据集上进行了大量实验证明，我们的方法可以重构高质量的几何并在不同的身体姿势下生成逼真的阴影。源代码和数据可在 https://wenbin-lin.github.io/RelightableAvatar-page/ 上获取。
3d digital avatarsrelightable and animatable neural avatarsgeometry and shadow changesinverse skinning problempose-aware part-wise light visibility network
发现论文，激发创造
  • 具备内在分解和姿势控制的可重新照明的神经行为模型

    通过基于多视角视频的学习方法，我们提出了可重光的神经网络人体模型，能够实现真实感的光照效果、外观编辑以及任意骨骼姿势控制，并在实际场景中进行了评估，展示了针对新颖人体动作的最新重光效果。

    Dec, 2023

  • 稀疏视角视频中可重照和可动画的神经化身

    从稀疏视点（甚至单眼）动态人类视频中的未知照明条件下创建可重新照明和可动画化的神经头像是该论文的主要挑战，为了解决这个问题，作者提出了一种层次化距离查询算法来近似任意人类姿势下的世界空间距离，并基于此算法开发了首个能从稀疏视点（或单眼）输入中恢复出可动画和可重新照明的神经头像的系统，实验证明该方法比现有的方法有着更优秀的结果。

    Aug, 2023

  • 艺术家友好型可调光和可动画神经头部

    通过使用容积神经场，我们提出了一种新的方法来处理可重光和可动态化的神经头像，结合混合容积原始的动态化身方法以及轻量级硬件设置和新的架构，实现了在任何环境中重新照明的动态神经头像，甚至可以进行未见过的表情。

    Dec, 2023

  • FLARE: 快速学习可动态和可照明的网格化角色

    我们提出了一种从单一单目视频中学习可个性化动画的、具有几何精度、逼真性、可重新照明性并且与当前渲染系统兼容的 3D 头像人物模型的高效方法。

    Oct, 2023

  • Relighting4D: 从视频中生成可重新灯光调整的神经网络人形模型

    本文提出了一个称之为 Relighting4D 的结构化框架，通过神经网络分解人体的空间时间几何和反射属性为一组法线、遮挡、漫反射和镜面映射的神经场，进而进行基于物理的面部渲染且可自我学习。通过在真实和合成数据集上的广泛实验验证，我们的方法能够以自我监督学习的方式将人体演员的表演与其背景分离，实现无限可调的动态换背景。

    Jul, 2022

  • 再照明的高斯编解码头像

    通过使用高保真的几何模型和外观模型以及实时渲染技术，我们提出了实时可重光头像的方法，该方法能够捕捉到人脸细节，并支持多种材质的统一呈现。

    Dec, 2023

  • 朝着实用的高保真可重照明虚拟人物捕捉

    提出了一种新的框架 TRAvatar，用于捕捉和重建高保真度的 3D 头像，实现实时动画和多样化场景下的逼真照明效果。

    Sep, 2023

  • ReliTalk：基于单一视频的可重光的说话肖像生成

    从单眼视频中生成可闪烁的音频驱动的说话肖像的新框架，使用隐式学习的面部法线和图像，结合三维面部先验和动态估计视频的光线条件进行反射分解，并通过身份一致性损失改进立体面部表示。

    Sep, 2023

  • IntrinsicAvatar：基于物理的动态人体反渲染，通过显式光线追踪从单目视频中

    我们提出了 IntrinsicAvatar，一种从仅单目视频中恢复着装人类角色的内在属性，包括几何、反射率、材质和环境光照的新方法。

    Dec, 2023

  • PointAvatar: 从视频中生成可变形基于点的头像

    使用可变形基于点的表示方法 PointAvatar，将颜色和法向量相关联，可以基于单目视频生成高质量的可动画 3D 头像，并在渲染效率和拓扑灵活性方面加强。

    Dec, 2022