SIRA: 从单张图像生成可重新照明的人物形象
基于 MoSAR 方法,从单目图像中生成 3D 头像。我们提出了一种半监督训练方案,通过同时学习光型平台和野外数据集来提高泛化性能,并利用一种新颖的可微分着色公式有效地分离面部参数,生成逼真且可重光的人物头像。此外,我们还推出了一个新数据集 FFHQ-UV-Intrinsics,该数据集提供了 10k 个主题的面部属性,包括漫反射、镜面反射、环境光遮蔽和透明度贴图,是首个公开的大规模数据集。
Dec, 2023
该研究提出了一种通过对单视角幅面图像进行重建和动画化的三维头像,通过三个三角面分别捕捉源图像的粗略三维几何,详细外观以及目标图像的表情实现,再通过超分辨率模块的渲染进行填充并通过单向传递网络的高效性进行动画。实验表明,该方法在重建和动画方面优于当前最先进的基线方法,并且对新的验证数据集有很好的泛化能力。
Jun, 2023
通过基于单图几何重建的框架实现针对人体的单张图片重照,在去除光照的同时,通过采用经过修改的 HRNet 和基于光线追踪的每像素灯光表示方法,恢复逼真的阴影,展现出包括硬阴影在内的高频阴影效果,优于先前的方法。
Jul, 2022
从稀疏视点(甚至单眼)动态人类视频中的未知照明条件下创建可重新照明和可动画化的神经头像是该论文的主要挑战,为了解决这个问题,作者提出了一种层次化距离查询算法来近似任意人类姿势下的世界空间距离,并基于此算法开发了首个能从稀疏视点(或单眼)输入中恢复出可动画和可重新照明的神经头像的系统,实验证明该方法比现有的方法有着更优秀的结果。
Aug, 2023
通过仅有零散视频进行光照未知环境下,可用于合成人类真实照片的新视角、姿势和光照的可重光和可动画化神经化身的轻量级创建方法。该方法中的关键挑战在于分解几何、服装主体的材质和光照,而由于身体运动引起的复杂几何和阴影的变化使得问题更加困难。为了解决这个不适定问题,我们提出了新的技术来更好地建模几何和阴影变化。对于几何变化建模,我们提出了可逆变形场,有助于解决逆皮肤问题并提高几何质量。为了建模空间和时间变化的光照线索,我们提出了一种姿势感知的部位光可见性网络来估计光线遮挡。在合成和真实数据集上进行了大量实验证明,我们的方法可以重构高质量的几何并在不同的身体姿势下生成逼真的阴影。源代码和数据可在 https://wenbin-lin.github.io/RelightableAvatar-page/ 上获取。
Dec, 2023
通过组合三维头部重建、神经场和表面渲染技术,本研究提出了一种新的方法(InstantAvatar),可以在几秒钟内从少量图像(甚至只有一张)中恢复出完整的头部化身,并实现了 100 倍的重建速度提升。
Aug, 2023
本研究提出了一种基于隐式 3D 表示的 Structured 3D Features 模型,通过对参数统计人体网格表面进行密集的 3D 点采样并将像素对齐的图像特征汇集到其中,生成一个单端到端模型,可以生成带有颜色和光照分解的动画化 3D 重建图像,在 3D 虚拟试穿等应用领域有很大应用潜力。
Dec, 2022
通过使用容积神经场,我们提出了一种新的方法来处理可重光和可动态化的神经头像,结合混合容积原始的动态化身方法以及轻量级硬件设置和新的架构,实现了在任何环境中重新照明的动态神经头像,甚至可以进行未见过的表情。
Dec, 2023
本文提供一种基于学习的方法来从单个肖像图像中恢复人头的 3D 几何形状,并且使用参数化 3D 人脸模型来表示头部几何形状以及其他头部区域的深度图,同时使用双目立体匹配方法从具有野外人脸的图像中学习头发和耳朵的几何信息,最后,评估和对比结果表明该方法可以产生高保真的 3D 头部几何形态和头部姿态操作结果。
Apr, 2020