Hadi Alzayer, Kevin Zhang, Brandon Feng, Christopher Metzler, Jia-Bin Huang
TL;DR本文提出了一种使用人类眼睛的反射信息进行场景重建的方法，通过联合优化角膜姿态、辐射度场和观察者眼睛的虹膜纹理，以及使用简单正则化先验提高重建质量，实现了通过眼睛反射恢复 3D 场景的可行性。
Abstract
The reflective nature of the human eye is an underappreciated source of
information about what the world around us looks like. By imaging the eyes of a
moving person, we can collect multiple views of a scene outside the camera's
direct line of sight through the reflections in the eyes. In this paper, we
reconstruct a 3D scene beyond the camera's line of sigh
本文提出了一种从 360 度立体图像中估计场景高清空间变化光照、反射和几何的方法，该方法利用全景图像获得场景的详细几何信息，结合物理约束共同估计场景属性。通过重建场景的近场光环境、运用深度学习模型推断反射率和表面法线，加入光照与几何之间的物理约束以改进场景的反射率，实验结果表明该方法在增强现实应用中具有 State of the art 的性能有优势。