使用神经反射技术进行形状恢复和阴影处理
这篇论文提出了一种名为 DeepShadow 的方法,它可以通过光度立体阴影图从自身和投影的阴影中恢复深度图和表面法线,从而进行 3D 重建。该方法不需要预训练或昂贵的标记数据,在推理时进行优化,使用神经网络进行 3D 形状重建。
Mar, 2022
通过新颖的多视图方法 DeepShaRM,本研究提出了一种能够在未知自然光照条件下(即野外环境)重建无纹理、非兰伯特物体几何的几何重建方法。该方法通过引入深度反射率图估计网络,从当前几何估计的表面法线和输入的多视图图像中恢复相机视角的反射率图,并明确估计每个像素的置信度来处理全局光传输效应。然后,通过深度自遮蔽网络利用恢复的反射率图更新由符号距离函数表示的几何估计,通过这两者的交替迭代,并且避开了反射率和光照分解难题,该方法能够准确恢复这些复杂环境中的物体几何结构。通过对合成和真实数据的大量实验证明了该方法的准确性。
Oct, 2023
本研究提出了一种用于光度立体图像的卷积神经网络结构,通过物理学建模的无监督学习框架,可以进行表面法线和反射率预测,并且在实际场景中达到了最先进的性能表现。
Feb, 2018
本研究提出了一种基于手持拍摄的自然光下重建透明物体的 3D 形状的新方法,该方法采用了显式网格和多层感知器网络(MLP)的混合表示,通过多视图剪影获得初始形状,并使用基于表面的局部 MLP 编码顶点位移场(VDF)进行表面细节的重建。定义在表面而不是体积上的局部 MLPs 也减少了搜索空间,从而实现了基于单张图片的环境抠图算法的简化实现。经过多项实验证明,此方法可以在采集数据方面进行简化,并且可以确保重建质量优于现有的技术水平。
Mar, 2022
利用单视图图像下不同点光源捕捉来学习神经场景表示,利用阴影和明暗等单目线索推断场景几何,并学习神经反射场,用于代表场景 3D 几何和 BRDF。实验表明,该方法能够从单视图图像中恢复场景的 3D 几何,包括可见和不可见部分,适用于新视角合成和再照明等应用。
Oct, 2022
利用仅需数张自然图像和已知任意环境映射,基于物理原理的网络,可恢复透明物体的 3D 形状,包括复杂折射和反射,其成功复原了高质量透明物体的 3D 几何形状,最少仅需五到十二张图片。
Apr, 2020
本研究提出了一种新颖的神经隐式亮度表示方法,用于从一小组不规则的物体照片中进行自由视角重照。我们通过多层感知器将形状表示为有符号距离函数。与先前的隐式神经重照方法不同,我们没有分离不同的反射分量,而是通过第二个多层感知器在每个点上模拟局部和全局反射,并融合阴影和高光提示来辅助网络对应的高频光传输效果建模。在合成和真实场景中展示和验证了我们的神经隐式表示方法,这些场景具有各种形状、材料属性和全局光照传输。
Aug, 2023
本研究提出了一种基于多视角立体网络、光谱反射率、深度学习的方法,旨在从六幅图像中重建物体的高质量几何结构和空间变化的 BRDF,通过最小化光度误差优化多视角反射率网络的潜在空间,成功地实现了从稀疏数据中重建出高质量的物体,进而渲染出真实的图像。
Mar, 2020
通过卷积神经网络技术,直接预测图像的反射率图以分解出出现的内在属性,并展示了如何通过间接方案在表面方向预测和数据插值的帮助下提高估计结果,同时引入基于真实与合成图像的全新挑战 SMASHINg 评估方法并展示了反射率图在图片编辑中的应用。
Nov, 2015
该研究提出一种基于神经投影场的方法,利用阴影来学习场景的神经表示,实现了用稀疏图像信号估计几何信息的目的,并且证明了该方法的泛化能力,并且在与 NeRF 等其他方法的比较中体现出更好的性能。
Mar, 2022