Jan, 2024

基于深度判别度量学习的单目三维物体检测

PDF
TL;DR通过引入一种新的度量学习方案，我们的方法旨在提取具有深度区分特征的模型，而不增加推断时间和模型大小，通过使用距离保持函数来组织特征空间流形，将特征描述符之间的距离设置为与真实物体深度相关，并引入用于物体深度估计的辅助头部，以提高深度质量。此方法在 KITTI 和 Waymo 数据集上集成到各种基线模型中，实验证明了其广泛适用性，并且相对于基线模型，综合性能提高了 23.51% 和 5.78%。
monocular 3d object detectiondepth estimationmetric learning scheme(k, b, eps)-quasi-isometric lossauxiliary head
发现论文，激发创造
  • 鲁棒的几何保持深度估计 - 使用可微分渲染

    通过混合数据集训练模型，预测几何保持的深度，并通过渲染重建场景的新视图以及设计损失函数，促进不同视角下深度估计的一致性，实现了对领域特定尺度和平移系数的自主恢复，优于现有最先进方法的多个基准数据集。

    Sep, 2023

  • 利用投影建模学习基于几何引导的深度，实现单目三维物体检测

    本篇研究提出一种基于几何建模的投影模型方法，用于改进单目三维物体检测中的深度估计问题，实验证明该方法使得检测性能得到了显著提升。

    Jul, 2021

  • 基于关键点几何推理的单目三维物体检测

    本篇研究提出了一种基于关键点的方法，利用单个 RGB 图像进行三维目标检测和定位，该网络基于 2D 关键点检测和几何推理方法，同时估计 2D 特征和全局 3D 姿态，最终在 KITTI 数据集中达到了最好的性能表现。

    May, 2019

  • 自监督深度和自身运动学习的特征度量损失

    本文提出了一种基于特征度量的损失函数作为自监督深度和自我运动估计的代替方法， 借助于特征表示，结合一阶和二阶正则化方法，对损失最小化求解提供更好的收敛性能和稳定性，实验结果显示此方法优于现有的自监督方法和视觉里程计方法。

    Jul, 2020

  • 概率和几何深度：透视中的物体检测

    该文通过构建几何相关图，利用概率表示来解决单目三维检测的问题，从而提高了检测性能并保持实时性的有效性。

    Jul, 2021

  • 从二维到三维：重新思考单眼深度预测的基准测试

    本研究提出了适合评估单目深度预测方法三维几何质量的一组度量标准和室内基准测试 RIO-D3D，并展示了其对于评估三维场景完整性的紧密关联任务的帮助。

    Mar, 2022

  • NDDepth：正态 - 距离辅助单目深度估计

    基于物理驱动的深度学习框架用于单目深度估计，通过假设 3D 场景由分段平面组成，提出了一种新的正常 - 距离头来推导每个位置的深度，同时，通过开发的面感知一致性约束对正常和距离进行规范化，并引入了额外的深度头来改善框架的鲁棒性，利用有效的对比迭代细化模块根据深度的不确定性互补地对深度进行精细化改进，实验证明该方法在 NYU-Depth-v2、KITTI 和 SUN RGB-D 数据集上超过了现有的最先进竞争方法，值得注意的是，它在 KITTI 深度预测在线基准测试中的提交时间中排名第一。

    Sep, 2023

  • 自监督的单目可微渲染用于 3D 物体检测

    本研究提出了一种基于自监督的方法，利用强形状先验和二维实例掩模来重建带纹理的三维物体并进行姿态估计，通过可微分渲染和先前预训练的单目深度估计网络推断图像中每个物体的三维位置和网格信息，实验结果表明本方法有效地利用嘈杂的单目深度和可微分渲染来代替昂贵的 3D 地面真值标签或激光雷达信息。

    Sep, 2020

  • DID-M3D: 单目 3D 物体检测中实例深度解耦

    本文提出了一种将实例深度复杂度降低的方法，即将实例深度重新定义为实例表面视觉深度（视觉深度）和实例属性深度（属性深度）的组合，并将 3D 定位不确定性分解为视觉深度不确定性和属性深度不确定性，取得了 KITTI 数据集的最新的最佳结果

    Jul, 2022

  • 自监督单目深度估计的细粒度语义感知表示增强

    本文提出了在无监督单目深度估计中引入跨域语义信息以提高几何表示的新思路，包括度量学习方法和特征融合模块，并在 KITTI 数据集上全面评估，在弱质地区和物体边界的监督限制下，本文提出的方法优于现有技术。

    Aug, 2021