驯服野生相机:野外单目相机校准
本研究提出了一种基于自监督的方法,利用强形状先验和二维实例掩模来重建带纹理的三维物体并进行姿态估计,通过可微分渲染和先前预训练的单目深度估计网络推断图像中每个物体的三维位置和网格信息,实验结果表明本方法有效地利用嘈杂的单目深度和可微分渲染来代替昂贵的3D地面真值标签或激光雷达信息。
Sep, 2020
提出了一种名为MonoRUn的检测框架,该框架通过自我监督学习,仅使用简单的三维边界框注释学习密集的对应关系和几何学,并利用不确定性感知的区域重建网络来回归像素相关的三维目标坐标,并利用预测的不确定性通过整个下游模块,实现对象姿态的估计和协方差,实验表明该方法在KITTI基准测试中优于当前最先进的方法。
Mar, 2021
本文提出了一种基于实例分割的类别级位姿估计方法,利用相机独立几何推理来应对不同数据集的相机视角和内部参数变化,取得了在KITTI3D基准测试中超越相机依赖方法的优异表现。
Oct, 2021
提出了一种基于像素平面性先验的单目深度估计方法,并使用具有两个输出头的卷积神经网络来学习并由此实现端到端的训练,以预测尖锐边缘和具有合理3D重建的深度图,将其在NYU Depth-v2和KITTI的Garg数据集上的实验结果击败了以前的方法并创造了最新的技术成果。
Apr, 2022
本文提出采用地面平面作为额外的几何条件来解决单目视觉下深度估计不准确的问题,同时采用深度校准和精确的两阶段深度推断方法,这种方法不需要额外的数据来源,能够在KITTI基准测试中取得最佳的结果,并保持非常快的速度。
Jun, 2022
通过研究基于单目输入的三维物体感知,提出了一种利用相机自运动提供的强几何结构进行精确物体深度估计和检测的方法,并建立了一个名为“DfM”的框架,成功地提高了KITTI基准数据集上的检测性能。
Jul, 2022
基于大规模数据训练和解决来自不同摄像机模型的度量歧义,实现了在野外图像中无需训练即可广义泛化的单视图度量深度模型,并在7个零样本基准测试上展现了领先表现。
Jul, 2023
通过提出一个几何基础模型Metric3D v2来实现从单张图像中进行零样本度量深度与表面法线估计,解决了度量3D恢复中的度量深度与表面法线估计方面的问题,并实现了对不同设置相机的图片的零样本泛化。
Mar, 2024
借助于预训练扩散模型中嵌入的全面视觉知识,我们提出了一种更强大、更准确的单目摄像机内参估计方法,通过将摄像机内在参数的估计问题转化为密集的入射光线映射生成任务,结合深度图估计,通过简单的非学习RANSAC算法得到摄像机内在参数。实验表明,我们的模型在多个测试数据集上实现了最先进的性能,预测误差减小了40%。此外,实验还表明,我们的流水线估计的精确摄像机内在参数和深度图可以极大地促进从单个野外图像的3D重建等实际应用。
May, 2024