ICCVMay, 2019

SPLINE-Net: 通过光照插值和法线估计网络稀疏光度立体

PDF
TL;DR该论文介绍了一种利用生成网络的光照插值和法线估计方法（SPLINE-Net），通过对称和非对称损失函数的结合，该方法具有等各向异性和全局光照效应的异常值拒绝等优点，并且仅使用了十张图像，就能够胜过现有的基于不同 BRDFs 的 Photometric Stereo 方法。
sparse photometric stereolighting interpolationnormal estimationgenerative networkisotropic constraint
发现论文，激发创造
  • 从内部参数估计空间变化的室外照明

    该研究介绍了一种名为 SOLID-Net 的神经网络用于从单个室外图像估计不同位置的室外光照。该方法使用一个全局天空环境图和图像中的几何信息，生成了可变的局部光照环境图，利用其进行了全局和局部的光照估计，并且利用全球物理上合理的数据集，证明其性能优于之前的方法。

    Apr, 2021

  • InterpoNet，一种模仿大脑的神经网络用于光流密集插值

    本研究基于全卷积网络，结合视觉皮层的填充过程和神经元的横向依赖性，引入多层监督来提出了一种基于数据驱动的稀疏到密集插值算法，并且其针对具有多个匹配算法的竞争性光流基准显示了该方法的稳健性和优越性，使其在 Sintel 和 KITTI 2012 基准测试上达到了最先进的性能水平。

    Nov, 2016

  • 学习宽基线下极度稀疏光场的动态插值

    本文提出了一种可学习的动态插值模型 —— 动态插值，用于替代通常使用的几何扭曲操作来重建稀疏采样的密集光场，通过估计输入视图之间的几何关系来动态地学习为每个像素的新视图插值相邻像素的权重，以适应不同的图像内容信息。实验结果表明，与现有方法相比，重建的光场具有更高的 PSNR/SSIM，保留了更好的光场视差结构。

    Aug, 2021

  • PX-NET：光度立体网络简单高效的像素训练

    该研究旨在提出一种新型的像素训练规程（PX-NET），它通过在独立像素生成数据上替换全局渲染图像的训练数据来实现对物体几何结构的迅速恢复，在结构和性能上都优于同类像素方法。

    Aug, 2020

  • 通用反射光度立体的神经反渲染

    本研究提出了一种用于光度立体图像的卷积神经网络结构，通过物理学建模的无监督学习框架，可以进行表面法线和反射率预测，并且在实际场景中达到了最先进的性能表现。

    Feb, 2018

  • 自动光谱恢复

    我们研发了一个深度学习网络，用于在各种照明条件下估算高光谱图像的照明光谱，并开发了一个数据集 IllumNet 来支持其研究，采用 ResNet18 网络和 3D 内核来适应光谱数据，并使用立方平滑样条误差成本函数平滑预测的照明光谱，实验结果表明该模型可以精确输入照明光谱。

    May, 2023

  • CNN-PS: 基于卷积神经网络的非凸面光度立体恢复

    本文介绍了一种光度立体网络，该网络直接学习光度立体输入和场景表面法线之间的关系，通过合并所有输入数据到观察映射中，进一步处理无序的任意数量的输入图像，提高旋转伪不变性等训练和预测效果，通过基于物理的渲染器生成的综合光度立体数据集进行训练，能更好地解决非凸表面下的场景光照估计问题。

    Aug, 2018

  • NPLMV-PS：神经点光源多视角光度立体

    我们提出了一种新颖的多视图光度立体（PS）方法，利用神经形状表示和学习渲染器，显式利用像素强度渲染，模拟每个点的入射辐照度并使用全神经材质渲染器进行优化，同时通过估计法线和分割图最大化表面精度，达到在距离为 1.5m、分辨率 400x400 的情况下，超过经典方法 DiLiGenT-MV 的平均 0.2mm 的沙耶缝距离，对低光计数场景的异常法线具有鲁棒性，使用像素渲染距离仅为 0.27mm。

    May, 2024

  • IBRNet: 学习多视角基于图像渲染

    通过绘制多种源视图来渲染高分辨率成像，并利用神经网路的视角插值，在新颖场景中综合新视角。

    Feb, 2021

  • 通用表面光度立体摄影的非校准神经反渲染

    本文提出了一个针对光度立体问题的不需要校准的深度神经网络框架，通过估计输入图像的光线方向来计算表面法线、双向反射分布函数值和深度，同时显式模拟图像形成过程中的凹凸面部分的互反射效应，结果表明该方法在挑战性主题上表现优于监督和经典方法。

    Dec, 2020