CGIntrinsics: 基于物理原理渲染的更优质本质图像分解
该论文提出使用深度卷积神经网络解决困难的内在图像分解问题,通过对真实图像和合成图像模型的混合训练,以及引入 Bilateral Solver 层,进一步改进结果,实现了对各种数据集包括真实世界场景的不同光照图像的理想产出。
Jul, 2018
本文提出了使用解释输入图像的方法来学习内在图像分解,在单个图像上执行反射、形状和光照条件的预测。该网络利用无监督重建误差信号来提高中间表示的质量,使得大规模未标记数据在训练中有用,并且能够将所学知识应用于不同的对象类别、光照条件和形状的图像上。实验结果表明,该方法对内在图像分解和知识传递均表现出色。
Nov, 2017
使用卷积神经网络 (CNN) 和 MPI Sintel 数据集进行直接本质分解的新方法表现出色,超过了以前所有的工作,其结果证明了 CNNs 与合成训练数据的结合可能是解决计算机视觉中经典问题的有力新技术。
Dec, 2015
本文尝试用图像序列的方法学习单视角内在图像分解,并利用多图像信息进行训练,未使用任何基准数据集。我们提出了一个基于此想法的新的学习框架,并介绍了新的 loss 函数,该方法在多个数据集上具有良好的泛化性能。
Apr, 2018
该论文提出了一种基于边缘驱动的混合卷积神经网络方法,用于固有图像分解,取得了良好的效果,并将全局和本地提示区分开来以提高网络性能。
Mar, 2022
该论文提出了一种揉合了深度学习与物理反射模型与渐变信息的新型本质图像分解方法,并通过大量实验证明其优于现有方法,最终形成快速、综合高效的本质图像分解方式。
Dec, 2017
本文提出一种通过 Range-Nullspace 分解的深度学习框架,为解决逆成像问题提供了一种新的范式。通过对数据空间进行分解,模型获得了更多的物理信息,可以有效提高神经网络的学习性能和实际表现。实验结果表明,该框架在压缩感知医学成像和自然图像超分辨率等任务中均具有优异的性能表现。
Nov, 2019
提出一种利用半监督方法,在图像的着色和反照率层上操作,训练半监督网络用于图片合成,该方法可以有效提高 OpenGL 渲染等低质量合成图像的视觉逼真度。该方法通过两个阶段的管道来实现,即首先以物理学渲染为目标以有监督的方式预测准确的着色,然后再采用改进的 CycleGAN 网络进一步提高纹理和着色的逼真度。 在 SUNCG 室内场景数据集上进行的广泛评估表明,与其他最先进的方法相比,我们的方法可以产生更逼真的图像。此外,我们所生成的 “真实” 图像训练出的网络比领域适应方法预测出更精确的深度和法线,这表明提高图像的视觉逼真度可以比强加任务特定的损失效果更良好。
Mar, 2020
本文提出了一种新颖的无监督内在图像分解框架,不依赖于标记的训练数据和手工制作的先验。通过探索反射和阴影之间的独立性、域不变内容约束和物理约束,直接从无监督和不相关的数据中学习反射和阴影的潜在特征。在合成和实际图像数据集上的广泛实验表明,所提出的方法具有一致的卓越性能。
Nov, 2019