Dec, 2023

IntrinsicAvatar：基于物理的动态人体反渲染，通过显式光线追踪从单目视频中

PDF
TL;DR我们提出了 IntrinsicAvatar，一种从仅单目视频中恢复着装人类角色的内在属性，包括几何、反射率、材质和环境光照的新方法。
intrinsicavatarclothed human avatarsmonoocular videosgeometryray tracing
发现论文，激发创造
  • PhysAvatar：从视觉观察中学习装束的 3D 化身的物理学

    采用逆渲染和逆物理学相结合的方法，PhysAvatar 能够建立逼真的数字人物模型，特别是穿着松散的衣物并能在未见过的动作和光照条件下生成高质量的新视角渲染效果。

    Apr, 2024

  • HR 人形：利用三角网格和视频高分辨率纹理建模人形化身

    通过单目视频实现高分辨率物理材质纹理和三角网格的人体模型的获取并结合多视角图像合成的信息融合策略，通过神经隐式表达生成可编辑的变形人体模型。

    May, 2024

  • 单目视频生成详细人体化身

    利用单眼视频生成高保真度人体模型，通过语义纹理先验和面部标记提高人体模型质量，并采用新的纹理缝合策略，使生成的人体模型更加真实。

    Aug, 2018

  • 使用单目摄像头实现衣着 3D 人体角色的动态外貌建模

    使用一个人的动态视频，通过引入新颖的组合式人体建模框架，结合显式建模和隐式建模的方法，实现高质量的服装 3D 人体化身建模，解决了缺乏几何和其时间对应关系的 3D 真值数据的挑战，成功地生成了具有运动相关几何和纹理的服装 3D 人体化身。

    Dec, 2023

  • ARAH：人体关节 SDF 的可动态渲染

    本文提出了一种方法，将人体模型与可微分渲染相结合，从多视点 RGB 视频中创建可动态的穿着衣服的人形化身，其具有细节化的几何结构，并且能够适应超出分布范围的姿势。

    Oct, 2022

  • 可重新照明且可动画化的神经化身模型

    通过仅有零散视频进行光照未知环境下，可用于合成人类真实照片的新视角、姿势和光照的可重光和可动画化神经化身的轻量级创建方法。该方法中的关键挑战在于分解几何、服装主体的材质和光照，而由于身体运动引起的复杂几何和阴影的变化使得问题更加困难。为了解决这个不适定问题，我们提出了新的技术来更好地建模几何和阴影变化。对于几何变化建模，我们提出了可逆变形场，有助于解决逆皮肤问题并提高几何质量。为了建模空间和时间变化的光照线索，我们提出了一种姿势感知的部位光可见性网络来估计光线遮挡。在合成和真实数据集上进行了大量实验证明，我们的方法可以重构高质量的几何并在不同的身体姿势下生成逼真的阴影。源代码和数据可在 https://wenbin-lin.github.io/RelightableAvatar-page/ 上获取。

    Dec, 2023

  • SelfRecon: 从单眼视频中自动重建数码头像

    该研究提出了一种结合隐式和显式表达的身体重建方法 SelfRecon，可从单眼自旋人类视频中恢复空间 - 时间一致的几何形状，细节采用可微分神经渲染进行精细处理。

    Jan, 2022

  • 从单张图像重建高保真度着装化身

    本文提出了一个高效的三维服装化身重建框架。该框架通过高精度的基于优化的方法和高效的基于学习的方法相结合，以从单个图像中实现高保真度的服装化身重建为目标。通过在规范空间中以基于学习的方式使用隐式模型来学习人的一般形状，并通过以优化方式在姿态空间中估计非刚性变形来细化表面细节，使用超级网络来生成良好的初始化，从而极大地加速了优化过程的收敛。在各种数据集上的大量实验表明，所提出的服装化身重建框架成功地为现实场景中的任意穿着的人类产生了高保真度的化身。

    Apr, 2023

  • 从单目 RGB 视频学习个性化、高质量的立体头像

    本文提出了一种从野外拍摄的单目 RGB 视频学习高质量的隐式三维头像的方法，该方法通过参数化人脸模型驱动头像实现用户控制的面部表情和头部姿态，使用几何先验和 3DMM 的动态跟踪结合神经辐射场实现细粒度控制和光线真实感，并通过在 3DMM 几何上锚定的局部特征来预测，通过 3DMM 变形驱动，插值在 3D 空间中产生指定查询点的体积辐射。我们进一步展示了在 UV 空间使用卷积神经网络是关键的，可以整合空间上下文和产生代表性的局部特征。大量实验表明，与其他最先进的方法相比，我们能够重建高质量的头像，并具有更准确的表情依赖细节，更好地推广到训练之外的表情和数量上优秀的渲染效果。

    Apr, 2023

  • 单目 RGB 视频生成神经头像

    我们提出了神经头像，该方法能够显式建模动画人物头像的表面几何形状和外观，是虚拟现实和其他电影或游戏应用中数字人物的一种有效表示方法，它能够从单目 RGB 人像视频中学习，能够精确地外推到未知姿态和观察角度，并产生自然的表情和清晰的纹理细节。

    Dec, 2021