Apr, 2024

通过弱到强引发实现多摄像头 3D 物体检测的扩展

PDF
TL;DR提出了一种弱到强的激励框架来增强环境细化，同时保持强健的单目感知，通过基于不同子集训练的弱调优专家来学习单目退化的感知，进而改善多视角融合阶段的环境细化能力，并提出了一种综合蒸馏策略来整合 2D 基础模型和任务特定信息的通用知识，最后，为 MC3D-Det 联合训练设计了一个精心制定的数据集合并策略，解决了不一致的摄像头数量和参数问题，此框架普遍提升了多个基准方法效果。
multi-camera 3d object detectionbird's-eye view representationsurround refinement degradationweak-to-strong eliciting frameworkmc3d-det joint training
发现论文，激发创造
  • 基于透视矫正的通用多摄像头三维物体检测

    通过与 2D 相机平面结果对齐的方法，本研究提出了一种新颖的多相机三维目标检测方法，确保持一致且准确的检测结果。该方法通过视角校正，将鸟瞰视图特征渲染为多视图地图，并纠正了这些地图的透视偏差，利用隐含的前景体来连接相机与鸟瞰视图平面。该两步过程促进了视角和上下文无关特征的学习，对于准确地检测不同视角、相机参数和环境条件下的目标至关重要。此外，该方法采用基于模型的不可知的方法，而不需要额外的推理成本和对真实场景注释，从而促进了各种模型的无缝集成和简化部署。实验结果在领域泛化和无监督领域自适应方面明确展示了其有效性。

    Oct, 2023

  • 面向鸟瞰视角的多视角三维物体检测领域泛化

    本论文提出了一种名为 DG-BEV 的方法，通过将同态转换的测度深度预测转换为尺度不变深度来获得强健的深度预测，并使用单应性进行动态透视增强以增加外参参数的多样性，并通过多个伪域值修改对抗性训练损失来构建特征表示，从而显著减轻了目标领域的性能下降。

    Mar, 2023

  • BEVDet：高性能多摄像头鸟瞰视角三维物体检测

    本文介绍了一种名为 BEVDet 的算法，它能够基于 Bird-Eye-View 拍摄的视频进行 3D 目标检测，通过利用数据增强策略和升级最大值抑制策略来提高性能，同时在精度和时间效率之间实现出色的平衡。

    Dec, 2021

  • Occ-BEV: 通过三维场景重建实现多摄像机联合预训练

    通过设计 3D 解码器来利用多视图图像的鸟瞰图（BEV）特征预测 3D 场景的占位情况，为多摄像头智能驾驶提供了一种先进的、可行的和经济高效的解决方案，并取得了显着提升的结果。

    May, 2023

  • DistillBEV：利用跨模态知识蒸馏提升多摄像头三维目标检测

    通过训练基于多视角鸟瞰图（BEV）的学生检测器来模仿经过训练的基于 LiDAR 的教师检测器的特征，从而提高多视角 BEV 的表示学习，并通过有效的平衡策略和多尺度层的时间融合实现知识传输，实验证明该方法在多个多视角 BEV 模型上显著改善了学生模型，达到了流行基准 nuScenes 的最新性能。

    Sep, 2023

  • RCBEVDet: 用于三维物体检测的鸟瞰雷达 - 摄像头融合

    RCBEVDet 是一种在鸟瞰视角下将雷达和相机融合的三维物体检测方法，通过设计 RadarBEVNet 网络进行雷达鸟瞰特征提取，并结合交叉注意力多层融合模块实现自动对齐和融合多模态特征，取得了领先于现有方法的检测结果。

    Mar, 2024

  • M$^2$BEV：多摄像机联合三维检测和分割，统一鸟瞰视角表示

    本文提出了一个称为 M2BEV 的统一框架，它可以通过多摄像头图像输入在 Birds Eye View（BEV）空间中联合执行三维物体检测和地图分割，是一个高效的方法。实验结果表明，M2BEV 在 3D 对象检测和 BEV 分割方面的性能优于现有技术。

    Apr, 2022

  • 具有结构先验的多摄像头实例感知 3D 目标检测与自我增强学习

    提出了一种新方法 IA-BEV，它将图像平面实例感知集成到基于 BEV 的深度估计过程中，通过增强单目深度生成的有效性和鼓励模型在计算密集的时间立体匹配中更加注重具有挑战性的物体，为高质量 BEV 特征构建提供先进的深度估计结果，从而有利于最终的三维检测。所提出的方法在具有挑战性的 nuScenes 基准测试中取得了最先进的性能，广泛的实验结果表明了我们设计的有效性。

    Dec, 2023

  • BEVDepth: 多视角 3D 物体检测可靠深度获取

    本文提出一种新的基于相机的鸟瞰图三维目标检测方法，称为 BEVDepth，通过使用显式深度监督、镜头感知深度估计模块、深度细化模块以及定制的高效八叉树池化和多帧机制，实现了 60.9％的 NDS。这是相机模型首次达到 60％以上的 NDS 得分。

    Jun, 2022

  • 3M3D: 多视角、多路径、多表征 3D 目标检测

    提出了一种基于多视图轴自注意力和局部 ROI 自注意力的多路径多表示 3D 物体检测方法，通过稀疏浮动查询和密集 BEV 查询的多重表示进一步提高了性能，对于自动驾驶系统具有重要意义。

    Feb, 2023