单张图像头像照明
这篇论文提出了一种新方法,通过使用虚拟光源阵列来生成数据集,以代替使用高昂的专用抓取设备,从而实现高质量人像重新照明,同时保持真实感和物理上的一致性。
Sep, 2022
通过 OLAT 数据集,提出了一种新的基于神经网络的实时、高质量和一致的视频人像重照方法,这是一种混合结构和光照分离的编码器 - 解码器架构,采用多任务和对抗训练策略进行语义感知一致性建模,并采用流基础监督方案进行时间建模,同时还提出一种光照采样策略进行光照一致性建模,以实现自然人像轻松编辑和重照。
Apr, 2021
Holo-Relighting 是一种能够从单张图像中合成新视角和新光照的体积照明方法,利用预训练的 3D GAN 来重建几何和外观,并通过体积渲染将其渲染到任意观点。通过图像渲染和质量提升技术,Holo-Relighting 可以实现更好的光照效果、3D 一致性和可控性,从而达到最先进的照明质量。
Mar, 2024
本文研究基于物理学原理的图像形成模型的深度学习架构,包括去除图像光线和校正漏光,并应用到肖像摄影数据库中。结果表明,该模型可以实现精确和可信的照明结果,并且可以推广到复杂的光照条件和挑战性姿势,包括主体未直视相机。
Jun, 2019
我们开发了一种个性化视频照明算法,在任何姿势、表情和照明条件下实时生成高质量和时间一致的照亮视频。通过随意捕捉用户在监视器上观看 YouTube 视频的视频,我们展示了可以训练一种个性化算法,能够在任何条件下产生高质量的照明。我们的关键贡献是一种新颖的神经照明架构,能够有效地将内在的外观特征、几何和反射从源照明中分离出来,并将其与目标照明结合起来生成一个照亮图像。这种神经架构能够平滑内在的外观特征,从而实现时间稳定的视频照明。定性和定量评估表明,我们的照明架构在随意捕捉的 Light Stage at Your Desk(LSYD)数据和一次只捕捉一个光的 Light Stage (OLAT) 数据集上,比最先进的方法改进了肖像图像的照明质量和时间一致性。
Nov, 2023
从单眼视频中生成可闪烁的音频驱动的说话肖像的新框架,使用隐式学习的面部法线和图像,结合三维面部先验和动态估计视频的光线条件进行反射分解,并通过身份一致性损失改进立体面部表示。
Sep, 2023
通过基于单图几何重建的框架实现针对人体的单张图片重照,在去除光照的同时,通过采用经过修改的 HRNet 和基于光线追踪的每像素灯光表示方法,恢复逼真的阴影,展现出包括硬阴影在内的高频阴影效果,优于先前的方法。
Jul, 2022
用于人像与新背景合成的一种考虑照明效果的扩散模型,通过引入灯光表示模块、对齐网络和数据模拟管道,实现了对全局色彩和亮度的调整以及场景中来自背景的关键照明线索的融合。该方法在视觉保真度和照明连贯性方面优于现有基准,在实际测试中表现出卓越的泛化能力,凸显了其多功能和实用性。
Dec, 2023