CVPRApr, 2021

实现高保真度的人脸光照重渲染带真实阴影

PDF
TL;DR我们提出了一种新颖的深度人脸光照方法，通过学习预测源图像和目标图像之间的比值图像，同时使用估计的阴影掩码准确修改影子，使得我们能够在保留本地面部细节的同时重新照明图像，并使用阴影掩码来估算图像中的环境光强度，在 Multi-PIE 和 FFHQ 数据集上进行定量和定性评估，证明了我们所提出的方法在保留主体的本地面部细节，并能够准确地处理深硬阴影的同时达到了最先进的人脸光照效果。
发现论文，激发创造
  • 具有几何一致性阴影的人脸重照

    使用可微分算法基于光线追踪直接利用面部几何信息合成几何上一致的硬阴影，提升面部照明效果并改善面部几何估计质量。

    Mar, 2022

  • 基于物理引导的定向光照下人脸修复学习

    本文研究基于物理学原理的图像形成模型的深度学习架构，包括去除图像光线和校正漏光，并应用到肖像摄影数据库中。结果表明，该模型可以实现精确和可信的照明结果，并且可以推广到复杂的光照条件和挑战性姿势，包括主体未直视相机。

    Jun, 2019

  • 几何感知的单张图像人体整体光照调整

    通过基于单图几何重建的框架实现针对人体的单张图片重照，在去除光照的同时，通过采用经过修改的 HRNet 和基于光线追踪的每像素灯光表示方法，恢复逼真的阴影，展现出包括硬阴影在内的高频阴影效果，优于先前的方法。

    Jul, 2022

  • DiFaReli: 扩散人脸照明

    我们提出了一种新的方法来进行野外单视图人脸重照。我们使用条件扩散隐式模型 (DDIM) 解码一个解离的光编码与 3D 形状和面部身份相关的其他编码，以达到最先进的性能，能够在标准基准数据集 Multi-PIE 上进行光照效果的真实再现。

    Apr, 2023

  • 面部识别的对抗性光照调整

    本文通过对抗攻击和自动预测对抗光线的方式实现对深度面部识别系统的对抗侵害。作者提出了基于物理模型的对抗重照攻击（ARA）和自动预测对抗重照攻击（AP-ARA），并将数字攻击转化为精确的物理 ARA，通过在不同数据库中进行大量测试，结果表明该方法可以轻松破坏 FaceNet、ArcFace 和 CosFace 等深度面部识别方法，并揭示了特定光线方向和强度的威胁。

    Aug, 2021

  • 物理启发的密集融合网络用于重新照明

    本文提出了一种基于深度学习的图像去光照方法，将传统方法和深度学习模型相结合，并且通过物理洞察力量化来丰富神经网络，实现了对图像的更好去光照。

    May, 2021

  • 神经网络实时人像视频补光通过一致性建模

    通过 OLAT 数据集，提出了一种新的基于神经网络的实时、高质量和一致的视频人像重照方法，这是一种混合结构和光照分离的编码器 - 解码器架构，采用多任务和对抗训练策略进行语义感知一致性建模，并采用流基础监督方案进行时间建模，同时还提出一种光照采样策略进行光照一致性建模，以实现自然人像轻松编辑和重照。

    Apr, 2021

  • 通过虚拟光场和合成到实际的适应学习人像图像重新照明

    这篇论文提出了一种新方法，通过使用虚拟光源阵列来生成数据集，以代替使用高昂的专用抓取设备，从而实现高质量人像重新照明，同时保持真实感和物理上的一致性。

    Sep, 2022

  • 单张图像全身人物再照明

    本文提出了一种基于数据驱动的方法，利用预计算辐射传输和球谐光对全身人物图像进行自动换光。与以往工作不同的是，我们通过显式建模散射和镜面反射来消除对 Lambertian 材料的假设，同时引入了基于光的残差项来补偿 PRT 图像重建中的误差。我们提出了一种新的深度学习架构，经过特殊的 PRT 分解训练，并使用 L1、对数和渲染损失的组合进行训练。对于合成图像和照片，我们的模型在全身人类换光方面均优于现有技术。

    Jul, 2021

  • 提高光照鲁棒人脸识别中的阴影抑制

    本文提出了一种新的方法来提高照明归一化的性能，通过建立反射模型和制定面部颜色外观的形成，生成了一种在对数颜色空间中稳健抵御照明变化的色度内在图像（CII）并在此基础上重新构建出逼真的面部彩色图像，实验结果表明该方法能够处理包括软阴影和硬阴影在内的照明变化，从而提高人脸识别的效果。

    Oct, 2017