从球面视角探索形状
通过在基于体素的网络中添加可见性输入流,结合虚拟物体的合成数据增强和多个时间帧上的 LiDAR 扫描的时间聚合,我们在 NuScenes 3D 检测基准测试中展示了一个状态良好的 3D 检测器整体精度的显着提高。
Dec, 2019
通过提出一种端到端的非标定多视点 PS 框架,以实现在真实环境中通过稀疏视点获取高分辨率形状的重建,摒弃了黑暗室的假设,并允许静态环境光和动态 LED 光的组合,从而实现了在实验室外轻松捕获数据,并通过实验证实,在稀疏视点情况下超越了现有的基准方法,将高精度三维重建从黑暗室引入到现实世界中,并保持了合理的数据采集复杂性。
Mar, 2024
最近的研究进展表明,语言视觉模型在二维计算机视觉任务方面已经超过了现有的最先进技术 (SOTA),激发了将语言视觉模型应用于三维数据的尝试。然而,应用于点云的 LVM 面临着从三维数据提取特征的困难以及由于数据量大、采集和标注成本高导致数据集的可用性明显有限等挑战。为了解决这些问题,我们的研究旨在通过球面投影将 3D 数据转化为 2D,并尝试使用合成数据评估其在合成和真实数据之间弥合差距方面的效果。我们的方法表现出了高性能,准确率为 0.96,IoU 为 0.85,精确率为 0.92,召回率为 0.91,F1 分数为 0.92,验证了其潜力。然而,在未来的研究中仍需要解决遮挡问题和球面图像生成过程中多标签点的像素级重叠等挑战。
Apr, 2024
本研究提出了一种基于多视角立体网络、光谱反射率、深度学习的方法,旨在从六幅图像中重建物体的高质量几何结构和空间变化的 BRDF,通过最小化光度误差优化多视角反射率网络的潜在空间,成功地实现了从稀疏数据中重建出高质量的物体,进而渲染出真实的图像。
Mar, 2020
基于单光子相机的能效高、低成本小型测量,我们提出了一种重建任意兰伯特物体 3D 形状的方法。通过模拟数据和实际捕捉的测量结果来展示我们的方法可以成功恢复复杂的 3D 形状,连接了基于图像建模和主动式范围扫描,并为单光子相机的 3D 视觉迈出了一步。
Mar, 2024
本文提出了一种基于深度传感器的主动 3D 映射方法,不仅可以学习从稀疏的深度测量中重建稠密的 3D 占据地图,还可以优化深度测量光线的反应控制,该方法通过一种快速且有效的优化算法实现。实验结果表明,基于稀疏测量学习重建的方法与深度测量光线优化相结合,可以有效提高 3D 地图的精度。
Aug, 2017
通过利用消费者 RGB-D 扫描仪自带的 IR Projector 和 IR 图片,本研究提出了一种新的遮蔽形状框架来增强精度,并在实时环境下重建深度图,该方法在 Lambertian 对象中表现良好,在综合光滑和反射表面的情况下也取得了最先进的深度重建效果。
Nov, 2015
我们提出了一种在不同光照条件下进行深度估计的方法,该方法通过多传感器融合的方式解决了低照度区域光度学信息不足的问题。我们的方法利用丰富的合成数据首先近似了三维场景结构,并通过学习从稀疏到(粗糙的)密集深度图的映射及其预测不确定性来引导深度的精修,从而提高了稀疏深度处理的效果。我们在 nuScenes 数据集上展示了该方法在不同场景中的改进表现。
May, 2024
本研究探索了使用光度学技术(阴影形状和非标定光度立体)将 RGB-D 传感器的低分辨率深度图上采样到伴随的 RGB 图像的高分辨率。首先提出了一种有效的单次变分方法,而这依赖于目标的反射率是分段常数。随后,展示了这个依赖特定反射模型的限制可以通过关注特定类别的对象(例如面部),并将反射率估计委托给深度神经网络来缓解。最后讨论了一种基于随机变化光照条件的多次采集策略。这不需要反射率的培训或先前知识,但其代价是专用采集设置。通过定量和定性评估,证明了所提出方法在合成和真实场景中的有效性。
Sep, 2018