基于透视矫正的通用多摄像头三维物体检测

Oct, 2023

基于透视矫正的通用多摄像头三维物体检测

Towards Generalizable Multi-Camera 3D Object Detection via Perspective Debiasing

Hao Lu, Yunpeng Zhang, Qing Lian, Dalong Du, Yingcong Chen

TL;DR通过与 2D 相机平面结果对齐的方法，本研究提出了一种新颖的多相机三维目标检测方法，确保持一致且准确的检测结果。该方法通过视角校正，将鸟瞰视图特征渲染为多视图地图，并纠正了这些地图的透视偏差，利用隐含的前景体来连接相机与鸟瞰视图平面。该两步过程促进了视角和上下文无关特征的学习，对于准确地检测不同视角、相机参数和环境条件下的目标至关重要。此外，该方法采用基于模型的不可知的方法，而不需要额外的推理成本和对真实场景注释，从而促进了各种模型的无缝集成和简化部署。实验结果在领域泛化和无监督领域自适应方面明确展示了其有效性。

Abstract

Detecting objects in 3D space using multiple cameras, known as Multi-Camera 3D Object Detection (MC3D-Det), has gained prominence with the advent of bird's-eye view (BEV) approaches. However, these methods often struggle when faced with unfamiliar testing environments due to the lack of diverse training data encompassing various viewpoints and environments.

multi-camera 3d object detection bird's-eye view approaches domain shift perspective debiasing context-independent features

发现论文，激发创造

通过弱到强引发实现多摄像头 3D 物体检测的扩展

提出了一种弱到强的激励框架来增强环境细化，同时保持强健的单目感知，通过基于不同子集训练的弱调优专家来学习单目退化的感知，进而改善多视角融合阶段的环境细化能力，并提出了一种综合蒸馏策略来整合 2D 基础模型和任务特定信息的通用知识，最后，为 MC3D-Det 联合训练设计了一个精心制定的数据集合并策略，解决了不一致的摄像头数量和参数问题，此框架普遍提升了多个基准方法效果。

Apr, 2024

面向鸟瞰视角的多视角三维物体检测领域泛化

本论文提出了一种名为 DG-BEV 的方法，通过将同态转换的测度深度预测转换为尺度不变深度来获得强健的深度预测，并使用单应性进行动态透视增强以增加外参参数的多样性，并通过多个伪域值修改对抗性训练损失来构建特征表示，从而显著减轻了目标领域的性能下降。

Mar, 2023

DistillBEV：利用跨模态知识蒸馏提升多摄像头三维目标检测

通过训练基于多视角鸟瞰图（BEV）的学生检测器来模仿经过训练的基于 LiDAR 的教师检测器的特征，从而提高多视角 BEV 的表示学习，并通过有效的平衡策略和多尺度层的时间融合实现知识传输，实验证明该方法在多个多视角 BEV 模型上显著改善了学生模型，达到了流行基准 nuScenes 的最新性能。

Sep, 2023

具有结构先验的多摄像头实例感知 3D 目标检测与自我增强学习

提出了一种新方法 IA-BEV，它将图像平面实例感知集成到基于 BEV 的深度估计过程中，通过增强单目深度生成的有效性和鼓励模型在计算密集的时间立体匹配中更加注重具有挑战性的物体，为高质量 BEV 特征构建提供先进的深度估计结果，从而有利于最终的三维检测。所提出的方法在具有挑战性的 nuScenes 基准测试中取得了最先进的性能，广泛的实验结果表明了我们设计的有效性。

Dec, 2023

Occ-BEV: 通过三维场景重建实现多摄像机联合预训练

通过设计 3D 解码器来利用多视图图像的鸟瞰图（BEV）特征预测 3D 场景的占位情况，为多摄像头智能驾驶提供了一种先进的、可行的和经济高效的解决方案，并取得了显着提升的结果。

May, 2023

BEVDet：高性能多摄像头鸟瞰视角三维物体检测

本文介绍了一种名为 BEVDet 的算法，它能够基于 Bird-Eye-View 拍摄的视频进行 3D 目标检测，通过利用数据增强策略和升级最大值抑制策略来提高性能，同时在精度和时间效率之间实现出色的平衡。

Dec, 2021

多视角 3D 物体检测的观察等变性

本研究介绍了一种基于多视角几何的 3D 物体检测方法 VEDet，通过视点感知和等变性，利用查询式转换器系统将三维场景转化为位置编码来提高目标定位精度，并在损失层面进行多视角一致性规范化，通过丰富的几何线索提高性能以优化现有方法。

Mar, 2023

UniMODE：统一单目三维物体检测

通过基于鸟瞰（BEV）检测范式的显式特征投影、经典 BEV 检测架构的拆分、不均匀的 BEV 网格设计、稀疏的 BEV 特征投影策略和统一的域对齐方法等技术，派生出了统一的检测器 UniMODE，其在挑战性的 Omni3D 数据集上超过了先前的最新技术，实现了首个 BEV 检测器对统一 3D 物体检测的成功推广。

Feb, 2024

基于全景分割引导的 LiDAR 多视角三维物体检测通用框架

本研究提出了一种利用分割信息指导检测过程的多任务框架，该框架联合执行三维物体检测和全景分割，可利用多视角信息解决每个投影视图的缺陷，并通过前景语义信息和中心密度热力图来提示物体的可能框中心位置。在 nuScenes 数据集上进行的大量实验表明，该方法提供了显著的性能提升，基于单级 CenterPoint 3D 物体检测网络的所提出方法在 nuScenes 3D 检测基准上取得了 67.3 NDS 的最新性能。

Mar, 2022

通过 3D 到 2D 查询从多视角图像中进行 3D 物体检测

提出了一种基于多摄像头的 3D 对象检测框架，使用基于上下文注意力的网络，直接在 3D 空间中进行边界框的预测，实现了全球最佳性能。

Oct, 2021