Oct, 2020

从阴影中推断形状、照明和反射

PDF
TL;DR本文研究计算机视觉中的一个基本问题，即如何从平面图像中推断出世界的内在 3D 结构，并提出一种统计推断的优化问题，通过考虑表面光滑、颜色均匀、光照自然等先验知识，提出一种能够从单张图像中还原场景属性，包括形状、反射率和光照等的技术。该方法包含多个计算机视觉问题的超集，并优于以前所有单独问题的解决方案。
computer vision3d structureintrinsic imagesstatistical inferenceoptimization problem
发现论文，激发创造
  • 单张图像内在图像分解的无监督学习

    本文提出了一种新颖的无监督内在图像分解框架，不依赖于标记的训练数据和手工制作的先验。通过探索反射和阴影之间的独立性、域不变内容约束和物理约束，直接从无监督和不相关的数据中学习反射和阴影的潜在特征。在合成和实际图像数据集上的广泛实验表明，所提出的方法具有一致的卓越性能。

    Nov, 2019

  • DeepShaRM: 未知光照下多视角形状和反射率图恢复

    通过新颖的多视图方法 DeepShaRM，本研究提出了一种能够在未知自然光照条件下（即野外环境）重建无纹理、非兰伯特物体几何的几何重建方法。该方法通过引入深度反射率图估计网络，从当前几何估计的表面法线和输入的多视图图像中恢复相机视角的反射率图，并明确估计每个像素的置信度来处理全局光传输效应。然后，通过深度自遮蔽网络利用恢复的反射率图更新由符号距离函数表示的几何估计，通过这两者的交替迭代，并且避开了反射率和光照分解难题，该方法能够准确恢复这些复杂环境中的物体几何结构。通过对合成和真实数据的大量实验证明了该方法的准确性。

    Oct, 2023

  • 一种基于变分方法的自然照明下形状恢复算法

    本研究提出了一种基于增广拉格朗日方法的数值解法，用于处理方向或球谐光照、正交或投影投影以及灰度或多通道图像的基于偏微分方程的遮蔽恢复模型，并展示了在真实场景中进行遮蔽感知的深度图去噪、优化和补全的应用。

    Sep, 2017

  • 从阴影到局部形状

    本文提出了一种基于扩展局部形状二次表示和局部形状分布的区分度量方法，可以用于表征物体表面形状和表面照明，实验表明该方法能够实现高效和稳健的物体表面重建，同时其对于光照和噪声的鲁棒性较强。

    Oct, 2013

  • 3D 视觉与 3D 打印之间的数学技术和问题概览

    电脑视觉和 3D 打印在过去 10 年内迅速发展，但两者之间的相互作用迄今为止非常有限，尽管它们共享几种数学技术。我们试图弥补这一差距，提出了一种关于形状来自阴影问题的技术概览，以及基于非线性偏微分方程和优化的 3D 打印方法。我们还勾勒了从物体的一个或多个图像开始并以其最终的 3D 打印结束的物体制造过程的可能耦合方式。我们将给出一些实际示例。

    Sep, 2023

  • 深度反射图

    通过卷积神经网络技术，直接预测图像的反射率图以分解出出现的内在属性，并展示了如何通过间接方案在表面方向预测和数据插值的帮助下提高估计结果，同时引入基于真实与合成图像的全新挑战 SMASHINg 评估方法并展示了反射率图在图片编辑中的应用。

    Nov, 2015

  • 未知通用反射率纹理缺失光滑表面的多视角三维重建

    本文提出了一种简单且实用的解决方案，在多视角重建中使用基于联合几何和光度约束的能量最小化，利用一个共置的摄像机 - 光线扫描仪设备来克服建立跨视觉对应的问题。我们的优化算法可以从随机初始化中稳健地全局最优地恢复形状和反射率。实验结果验证了我们方法的有效性并讨论了未来的可能扩展。

    May, 2021

  • 通过形状、姿态和着色的生成建模学习单张图片的三维重建

    该研究提出了一种新的框架，可以在只有 2D 图像且每个实例只有一个视角的情况下，从单张图像中进行特定类别的三维重建和新形状的生成，并支持较弱的监督。采用网格作为输出表达方式，利用光照参数和明暗信息进行训练，支持对洼地的物体类别进行学习。通过五项应用评估，发现该方法的性能表现优于现有的一些方法。

    Jan, 2019

  • 从单视图学习重构无纹理可变形表面

    论文提出了一种基于数据驱动的方法，可以用于从单张图片中预测纹理缺失表面的三维重建结果，结果可以表示为网格、法线或深度图等形式，研究表明在文中所述情境下，网格并不适用于处理纹理缺失表面的三维重建。该方法可以很好地泛化到未见过的物体，并且更优于目前最先进的 SfS 技术。

    Mar, 2018

  • 提高光照鲁棒人脸识别中的阴影抑制

    本文提出了一种新的方法来提高照明归一化的性能，通过建立反射模型和制定面部颜色外观的形成，生成了一种在对数颜色空间中稳健抵御照明变化的色度内在图像（CII）并在此基础上重新构建出逼真的面部彩色图像，实验结果表明该方法能够处理包括软阴影和硬阴影在内的照明变化，从而提高人脸识别的效果。

    Oct, 2017