SfSNet: 野外人脸形状、反射率和照明学习
本文介绍了一种名为 BioFaceNet 的深度 CNN,它能学习将单一的人脸图像分解成生物物理参数地图、漫反射和镜面遮蔽地图,并估计场景照明光谱功率分布和相机光谱灵敏度。
Aug, 2019
InverseFaceNet 是一种基于深度卷积反渲染框架的新方法,可以实时地从单个输入图像中同时估计人脸的姿态、形状、表情、反射和照明,通过利用深度神经网络训练,结合实时的外观编辑和重新照明等高级处理技术,实现了高质量、高度还原的人脸重建。
Mar, 2017
本文提出一种能够重建面部几何形状、在单个单目图像中重建时空变化的面部反射的新颖面部重建方法,采用基于 DNN 的自编码器和可微分光线追踪图像构建,同时利用自监督训练方法实现高保真度的面部重建,同时实现了面部反射和几何形状的高度解耦。
Mar, 2022
该研究提出一种基于神经投影场的方法,利用阴影来学习场景的神经表示,实现了用稀疏图像信号估计几何信息的目的,并且证明了该方法的泛化能力,并且在与 NeRF 等其他方法的比较中体现出更好的性能。
Mar, 2022
我们提出了一种新的加法图像因子分解技术,通过在分解过程中调制稀疏性来估计由多个潜在的镜面成分组成的图像。我们的基于模型驱动的 RSFNet 通过将优化展开为网络层来估计这些因子,只需要学习少量的标量。由设计可解释的结果因子可以通过网络进行不同的图像增强任务融合,也可以由用户以可控的方式直接组合。基于 RSFNet,我们详细介绍了一个无需成对或非成对监督训练的零参考低光照增强(LLE)应用。我们的系统在标准基准测试上改善了最先进的性能,并在多个其他数据集上实现了更好的泛化性能。我们还将我们的因子与其他任务特定的融合网络集成,用于去雨、去模糊和去雾等应用,几乎没有额外开销,从而彰显了我们提出的 RSFNet 在多领域和多任务上的泛化能力。项目主页上发布了代码和数据,以便复现。
Apr, 2024
本文提出了一种名为 Sill-Net 的神经网络架构,用于在训练过程中将光照特征从图像中分离出来,然后在特征空间中增强训练样本,并在多个目标分类基准测试中超越了当前最先进的方法。
Feb, 2021
本文提出了一种几何感知的神经网络 SfM-Net,可用于视频中的运动估计,通过分解场景和物体深度、相机运动、3D 物体旋转和平移来处理像素运动,该模型可通过不同程度的监督训练,包括自监督、相机运动监督和深度监督,成功地估计出帧间相机旋转和平移,并对运动物体进行了有效地分割。
Apr, 2017
通过使用二进制前景蒙版和几何变形训练卷积神经网络(CNN)实现语义对应的密集流场,提出了一种新的 CNN 框架 SFNet,并在各项基准测试中表现出比现有方案更好的泛化性能。
Apr, 2019
我们提出了一种新的通用方法,用于阴影感知的多视角卫星摄影测量。我们的建议方法是采用隐式体积表示学习中的最新进展。通过训练 Shadow Neural Radiance Field (S-NeRF) 模型,我们能够实现对场景进行 3D 形状估算、阴影检测和透明物体过滤,而不需要任何显式形状监督。
Apr, 2021
本文提出了一种分析 - 合成方法 Relit-NeuLF,通过使用两平面光场表示对 4D 坐标系统的每条光线进行参数化,以实现对复杂场景的同时重照和新视角合成;通过自监督学习方法,该方法能够恢复三维场景的空间变化的双向反射分布函数(SVBRDF);通过将每条光线映射到其 SVBRDF 组成部分(漫反射、法线和粗糙度)以及灯光方向的条件,实现光线颜色的合成;综合实验证明,该方法在合成数据和真实世界人脸数据上都具有高效和有效的性能,并且优于最先进的结果。
Oct, 2023