控制光照对 Lambertian 物体的感知和操作
LightIt 方法通过使用阴影和法线图作为输入,在图像生成过程中实现了对光照的明确控制,并展示了在多个场景中高质量图像生成和光照控制的能力。
Mar, 2024
本文提出一种多层生成模型,通过将深度置信网与朗伯反射假设相结合,从 2D 图像中学习良好的基于 albedo 的先验。通过改变光源潜变量,可以解释照明变化,并且可以从类似对象中转移学习,从单个图像中估计 albedo 和表面法矢量。实验证明,该模型在一次人脸识别中具有广泛的适应性和改进。
Jun, 2012
使用光场传感和照片逼真渲染提出了一种适用于透明物体的位姿估计算法 LIT,并引入相应数据集 ProLIT,实现了对透明物体的识别、定位和位姿估计。实验结果表明,在 ProLIT 数据集上,LIT 算法能够胜过现有的位姿估计方法。
Oct, 2019
我们介绍了一种新的框架,使用数据驱动方法来模拟和校准摄像机 - 光源系统,并应用于创建一种可重新照明的 3D 高斯场景模型,从而实现了从新的视点进行实时、逼真渲染的能力,并展示了我们所提出的模拟器和系统在各种实际环境中的适用性和强健性。
Mar, 2024
基于图像的机器人操纵系统,利用多个视角捕捉目标物体,推断深度信息以补充其几何信息,采用几何一致性融合视角,实现精确操纵决策。
Oct, 2023
我们展示了光照的相干度与各种计算机视觉任务的性能之间的单调关系。我们使用计算方法模拟部分相干的光照,传播光波以形成图像,并随后使用深度神经网络进行物体识别和深度感知任务。在每个控制实验中,我们发现,相干长度的增加导致图像熵的提高,以及增强的物体识别和深度感知性能。
Nov, 2023
提出了一种方法,通过逆向渲染的物理原理来约束解决方案,同时利用神经网络来增强处理的计算能力,以提高对嘈杂输入数据的鲁棒性并实现高精度的目标物体光照估计,从而在 AR 情境下实现真实感增强。
Aug, 2020
通过对物体外观变化或海底的利用,利用摄像机视截锥体,新的约束条件假设为兰伯特表面,对应的图像像素约束摄像机前的光场,并且为每个体素存储一个信号因子和后向散射值,该体素网格可用于高效地恢复摄像机光平台的图像,这有助于保持大型 3D 模型和地图的一致纹理,否则这些模型和地图将被光照和介质伪像所主导。在模拟和实际数据集上进行了大量实验以验证我们方法的有效性,实验结果证明了我们方法在恢复物体真实反射率的同时减少了光照和介质效应的影响。此外,我们还展示了我们的方法可以轻松扩展到其他场景,包括带人工照明的空中成像或其他类似情况。
Sep, 2023
视觉技术在月球机器人应用中的整合遇到了许多挑战,本文提出了一个通用的任务流程,使用目标检测、实例分割和抓取检测,可以通过以不同的方式使用这些基于视觉的系统的结果,实现各种不同的应用。我们成功地在困难的光照条件下,在非平坦表面上进行了岩石堆叠任务,成功率达到了 92%。最后,我们展示了一个实验,用于组装 3D 打印的机器人组件,以便在将来进行更复杂的任务。
Sep, 2023
本研究提出了一种隐式表示法,以捕捉物体表面在光场中的视觉外观,并证明了该方法能够在使用单个真实 RGB 图像和对应的三维形状信息时预测未见过的物体的视觉外观。该方法建立了一个连续的表面光场表示,独立于几何形状,并且在特定照明条件下可嵌入到可变自编码器中进行生成新的外观的任务中。
Mar, 2020