CVPRFeb, 2024

UniMODE：统一单目三维物体检测

PDF
TL;DR通过基于鸟瞰（BEV）检测范式的显式特征投影、经典 BEV 检测架构的拆分、不均匀的 BEV 网格设计、稀疏的 BEV 特征投影策略和统一的域对齐方法等技术，派生出了统一的检测器 UniMODE，其在挑战性的 Omni3D 数据集上超过了先前的最新技术，实现了首个 BEV 检测器对统一 3D 物体检测的成功推广。
monocular 3d object detectionbird's-eye-view detectiongeometry learningheterogeneous domainsunimode
发现论文，激发创造
  • UniBEV：基于统一 BEV 编码器的多模态三维物体检测，针对缺失传感器模态的鲁棒性

    提出了 UniBEV，一个端到端多模态 3D 物体检测框架，用于解决缺失传感器输入（因突发传感器故障等原因）的鲁棒性问题，通过创建对齐的鸟瞰图特征图处理不同的输入组合，并采用加权平均融合策略提高鲁棒性

    Sep, 2023

  • Occ-BEV: 通过三维场景重建实现多摄像机联合预训练

    通过设计 3D 解码器来利用多视图图像的鸟瞰图（BEV）特征预测 3D 场景的占位情况，为多摄像头智能驾驶提供了一种先进的、可行的和经济高效的解决方案，并取得了显着提升的结果。

    May, 2023

  • BEVDet：高性能多摄像头鸟瞰视角三维物体检测

    本文介绍了一种名为 BEVDet 的算法，它能够基于 Bird-Eye-View 拍摄的视频进行 3D 目标检测，通过利用数据增强策略和升级最大值抑制策略来提高性能，同时在精度和时间效率之间实现出色的平衡。

    Dec, 2021

  • 基于透视矫正的通用多摄像头三维物体检测

    通过与 2D 相机平面结果对齐的方法，本研究提出了一种新颖的多相机三维目标检测方法，确保持一致且准确的检测结果。该方法通过视角校正，将鸟瞰视图特征渲染为多视图地图，并纠正了这些地图的透视偏差，利用隐含的前景体来连接相机与鸟瞰视图平面。该两步过程促进了视角和上下文无关特征的学习，对于准确地检测不同视角、相机参数和环境条件下的目标至关重要。此外，该方法采用基于模型的不可知的方法，而不需要额外的推理成本和对真实场景注释，从而促进了各种模型的无缝集成和简化部署。实验结果在领域泛化和无监督领域自适应方面明确展示了其有效性。

    Oct, 2023

  • Uni3D: 多数据集三维物体检测的统一基线

    该论文研究了如何训练一个来自多个数据集的统一 3D 检测器，提出了一种名为 Uni3D 的方法来解决数据级别和分类学级别的差异，证明了该方法的有效性并对进一步的 3D 泛化研究具有启发意义。

    Mar, 2023

  • BirdNet+: LiDAR 鸟瞰图中端对端 3D 物体检测

    本文提出了一种全端到端的三维物体检测框架，可以仅使用 Bird's Eye View 图像自动推断取向的三维包围盒，并且该方法在 KITTI 三维物体检测基准中超出了现有方法的性能并获得了最佳结果。

    Mar, 2020

  • 自动驾驶中鸟瞰空间高效三维物体检测的卷积网络方法

    3D 物体检测在俯视（Bird's-Eye-View）空间中最近成为自动驾驶领域的一种普遍方法。本研究提出了一种高效的基于 BEV 的 3D 检测框架 BEVENet，通过采用仅卷积的架构设计，克服了 ViT 模型的局限性，同时保持了 BEV 方法的有效性。实验证明，BEVENet 在 NuScenes 挑战赛中比当代最先进方法快 3 倍，同时在 NuScenes 验证数据集上获得 0.456 的平均精确度（mAP）和 0.555 的 nuScenes 检测分数（NDS），推断速度为 47.6 帧每秒。据我们所知，这是首次实现如此显著的 BEV 方法效率改进的研究，突显了它们在实际自动驾驶应用中的可行性提升。

    Dec, 2023

  • 通过弱到强引发实现多摄像头 3D 物体检测的扩展

    提出了一种弱到强的激励框架来增强环境细化，同时保持强健的单目感知，通过基于不同子集训练的弱调优专家来学习单目退化的感知，进而改善多视角融合阶段的环境细化能力，并提出了一种综合蒸馏策略来整合 2D 基础模型和任务特定信息的通用知识，最后，为 MC3D-Det 联合训练设计了一个精心制定的数据集合并策略，解决了不一致的摄像头数量和参数问题，此框架普遍提升了多个基准方法效果。

    Apr, 2024

  • OV-Uni3DETR: 基于循环模态传播的统一开放词汇 3D 物体检测

    OV-Uni3DETR 是一种统一的开放词汇 3D 检测器，通过循环模态传播实现，具有开放词汇的 3D 检测、模态统一、场景统一的优势，并以超过 6％的性能优势超越了现有方法，在只使用 RGB 图像的情况下性能与以前的基于点云的方法相当甚至更好。

    Mar, 2024

  • 空中单目三维物体检测

    通过双视图检测系统 DVDET，提出了一种基于地理变形的训练模块，实现了 2D 图像空间和 3D 物理空间的空中单目物体检测，并利用新的数据集 AM3D，证明了模型的可行性及性能。

    Aug, 2022