PX-NET:光度立体网络简单高效的像素训练
该研究提出了一种 CNN 基于光度立体的方法,能够处理如光传播、透射视图几何和镜面光反射等现实假设,通过两个主要步骤迭代估计形状和辐射方向,取得比现有状态 - of-the-art 方法更好的实验效果。
Sep, 2020
本研究提出了一种用于光度立体图像的卷积神经网络结构,通过物理学建模的无监督学习框架,可以进行表面法线和反射率预测,并且在实际场景中达到了最先进的性能表现。
Feb, 2018
本文介绍了一种名为 “通用光度立体” 的新光度立体任务,旨在开发出一种无需假定特定光照模型即可适用于各种形状、材料和光照变化的解决方案算法,该算法的实现基于一种纯数据驱动的方法,通过提取通用的照明表示 —— 全局照明环境,代替了以往的物理光照参数恢复,同时通过使用设计的合成数据集训练神经网络,以根据各种形状、材料和光照适应一组新的数据集。通过与其他最先进的未校准光度立体方法进行比较,以演示我们方法的显著性。
Jun, 2022
本文介绍了一种光度立体网络,该网络直接学习光度立体输入和场景表面法线之间的关系,通过合并所有输入数据到观察映射中,进一步处理无序的任意数量的输入图像,提高旋转伪不变性等训练和预测效果,通过基于物理的渲染器生成的综合光度立体数据集进行训练,能更好地解决非凸表面下的场景光照估计问题。
Aug, 2018
本文提出了一种新颖的深度神经网络架构,其可直接从像素级数据对图像进行新视图综合,并通过端到端的训练实现。与传统的多阶段处理方法不同,该系统具有广泛适用性和高质量的结果,是深度学习应用于真实自然图像综合的首例研究。
Jun, 2015
本文提出了一种基于像素可见性的多视图立体网络 (PVSNet),通过像素可见性网络学习不同邻近图像的可见性信息计算多视图相似度,构建具有可见性信息的自适应加权代价体积,并采用抗噪训练策略来区分不相关视图,实现了对强视角变化数据集的稳健密集 3D 重建,并在多个数据集上取得了最先进的表现。
Jul, 2020
本文通过使用两个不同照明下的图像,提出了一种新的基于逆渲染的深度学习框架 DeepPS2 来解决 photometric stereo 中的一个中间问题,即 PS2 问题,可以自主完成表面法线、表面反照率、光照估计和图像 relighting 等任务。
Jul, 2022
本文提出了一个针对光度立体问题的不需要校准的深度神经网络框架,通过估计输入图像的光线方向来计算表面法线、双向反射分布函数值和深度,同时显式模拟图像形成过程中的凹凸面部分的互反射效应,结果表明该方法在挑战性主题上表现优于监督和经典方法。
Dec, 2020
介绍了一种新颖的、基于可分离 4D 卷积的全卷积网络架构,将空间和光度一起利用,并回归到二维高斯热图,从而实现高效的表面形状估计。实验结果表明,所提出的方法在效率和准确性上均优于现有方法。
Mar, 2021
在这篇论文中,我们提出了一种基于光度立体技术的轻量级策略,仅需要稀疏输入或单个图像即可恢复近场光下高保真度的面部形态。通过构建包含 84 个不同主题和 29 种表情的数据集,我们提出了一个专门设计用于光度立体基于 3D 面部重建的新型神经网络。广泛的实验和比较表明,我们的方法可以生成高质量的重建结果。
Mar, 2020