Booster: 一个透明和有反射表面深度图像基准测试
我们提出了一个新颖的高分辨率、充满挑战性的立体数据集,并给出了密集准确的视差地面真值标注。该数据集独特之处在于存在一些具有镜面反射和透明性质的表面,这是当前立体网络失败的主要原因。我们的获取方法采用了一个新颖的深度时空立体框架,可以实现子像素精度的简单准确标注。我们释放了总共 419 个样品,收集自 64 个不同的场景并标注了密集的地面真值视差。每个样本包括一个高分辨率成对图像 (12 Mpx),以及一个不对称的成对图像 (左边:12 Mpx,右边:1.1 Mpx)。此外,我们提供了手动注释的材质分割掩模和 15K 未标记样本。我们根据我们的数据集评估了最先进的深度网络,强调了它们在解决立体视觉中的开放挑战方面的局限性,并为未来的研究提供了一些线索。
Jun, 2022
通过神经网络学习适当估计透明或镜面表面的深度,无需任何真实标注,通过图像修复和处理得到可靠的伪标签,用于微调现有的单目或双目网络以学习处理透明或镜面表面,实验证实了我们提出的简单方法带来的显著改进。
Jul, 2023
本研究探索了使用光度学技术(阴影形状和非标定光度立体)将 RGB-D 传感器的低分辨率深度图上采样到伴随的 RGB 图像的高分辨率。首先提出了一种有效的单次变分方法,而这依赖于目标的反射率是分段常数。随后,展示了这个依赖特定反射模型的限制可以通过关注特定类别的对象(例如面部),并将反射率估计委托给深度神经网络来缓解。最后讨论了一种基于随机变化光照条件的多次采集策略。这不需要反射率的培训或先前知识,但其代价是专用采集设置。通过定量和定性评估,证明了所提出方法在合成和真实场景中的有效性。
Sep, 2018
通过利用消费者 RGB-D 扫描仪自带的 IR Projector 和 IR 图片,本研究提出了一种新的遮蔽形状框架来增强精度,并在实时环境下重建深度图,该方法在 Lambertian 对象中表现良好,在综合光滑和反射表面的情况下也取得了最先进的深度重建效果。
Nov, 2015
本研究提出了一种基于多视角立体网络、光谱反射率、深度学习的方法,旨在从六幅图像中重建物体的高质量几何结构和空间变化的 BRDF,通过最小化光度误差优化多视角反射率网络的潜在空间,成功地实现了从稀疏数据中重建出高质量的物体,进而渲染出真实的图像。
Mar, 2020
这项工作提出了 Depth Anything,一种非常实用的鲁棒单眼深度估计解决方案。我们通过设计一个数据引擎来扩大数据集,收集并自动注释了大规模的未标记数据(约 62M),从而显著增加了数据覆盖范围,并能够减少泛化误差。我们调研了两种简单而有效的策略,可使数据扩展变得有希望。其次,我们开发了一种辅助监督方法,以强制模型从预训练的编码器中继承丰富的语义先验知识。通过在多个公共数据集和随机捕获的照片上广泛评估其零 - shot 功能,表明了其令人印象深刻的泛化能力。此外,通过使用来自 NYUv2 和 KITTI 的度量深度信息对其进行微调,我们建立了新的 SOTA。我们更好的深度模型还导致了更好的深度条件控制网络。
Jan, 2024
该论文提出了一种基于双目视觉输入的深度神经网络,称为 KeyPose,并使用该网络从 RGB 相机标记的三维关键点预测物体姿势,即使在透明物体的情况下也能取得比现有方法更好的 3D 姿态估计表现。
Dec, 2019
本研究提供了一种基于深度学习网络的方法,针对普通深度传感器获取透明物体深度信息的难题,构建了一个大规模真实场景数据集,同时提出了一种深度完成网络用于输出精度更高的透明物体深度信息,并且该方法能够成功地应用于机器人对透明物体的抓取。
Feb, 2022
这篇论文介绍了第一个大规模的 3D 反射检测数据集,包含超过 50,000 个多返回 Lidar、RGB 图像和 2D/3D 语义标签样本,在各种室内环境中,含有不同类型的反射。通过纹理化的 3D 地面真实网格实现自动点云标注,提供精确的地面真实标注。详细的评估对比了三种 Lidar 点云分割方法,以及当前最先进的图像分割网络对玻璃和镜子的检测。该数据集通过提供准确的全局对齐、多模态数据和各种反射物体和材料,推动了反射检测的进一步研究。该数据集可以在指定的 http 链接公开获取。
Mar, 2024