UniBEV：基于统一 BEV 编码器的多模态三维物体检测，针对缺失传感器模态的鲁棒性

Sep, 2023

UniBEV：基于统一 BEV 编码器的多模态三维物体检测，针对缺失传感器模态的鲁棒性

UniBEV: Multi-modal 3D Object Detection with Uniform BEV Encoders for Robustness against Missing Sensor Modalities

Shiming Wang, Holger Caesar, Liangliang Nan, Julian F. P. Kooij

TL;DR提出了 UniBEV，一个端到端多模态 3D 物体检测框架，用于解决缺失传感器输入（因突发传感器故障等原因）的鲁棒性问题，通过创建对齐的鸟瞰图特征图处理不同的输入组合，并采用加权平均融合策略提高鲁棒性

Abstract

multi-sensor object detection is an active research topic in automated driving, but the robustness of such detection models against missing sensor input (modality missing), e.g., due to a sudden sensor failure, i

multi-sensor object detection robustness missing sensor input unibev bird's eye view feature maps

发现论文，激发创造

MetaBEV: 解决电动汽车检测和地图分割中的传感器故障

本研究提出了一种称为 MetaBEV 的深度学习框架，用于应对自动驾驶车辆中存在的传感器损坏和丢失等实际问题，并在 3D 物体检测和 BEV 地图分割等多个任务上取得了优异表现。

Apr, 2023

UniMODE：统一单目三维物体检测

通过基于鸟瞰（BEV）检测范式的显式特征投影、经典 BEV 检测架构的拆分、不均匀的 BEV 网格设计、稀疏的 BEV 特征投影策略和统一的域对齐方法等技术，派生出了统一的检测器 UniMODE，其在挑战性的 Omni3D 数据集上超过了先前的最新技术，实现了首个 BEV 检测器对统一 3D 物体检测的成功推广。

Feb, 2024

OCBEV: 基于物体的 BEV Transformer 用于多视角 3D 物体检测

提出了一种新的 Object-Centric query-BEV 检测器 OCBEV 方法，它可以更有效地针对动态场景中移动目标的时间和空间线索。经过在挑战性的 nuScenes 数据集进行广泛实验评估后，该方法取得了最先进的结果，比传统的 BEVFormer 提高了 1.5 个 NDS 点，并具有更快的收敛速度和更少的训练迭代次数来达到相似的性能。

Jun, 2023

BEVFusion: 多任务多传感器融合及其基于统一俯视图的表示

本研究提出 BEVFusion，这是一种有效和通用的多任务多传感器融合框架，通过在共享的鸟瞰图表示空间中统一多模态特征，从根本上支持不同的 3D 感知任务，并在 nuScenes 上创立了新的技术水平

May, 2022

M$^2$BEV：多摄像机联合三维检测和分割，统一鸟瞰视角表示

本文提出了一个称为 M2BEV 的统一框架，它可以通过多摄像头图像输入在 Birds Eye View（BEV）空间中联合执行三维物体检测和地图分割，是一个高效的方法。实验结果表明，M2BEV 在 3D 对象检测和 BEV 分割方面的性能优于现有技术。

Apr, 2022

DistillBEV：利用跨模态知识蒸馏提升多摄像头三维目标检测

通过训练基于多视角鸟瞰图（BEV）的学生检测器来模仿经过训练的基于 LiDAR 的教师检测器的特征，从而提高多视角 BEV 的表示学习，并通过有效的平衡策略和多尺度层的时间融合实现知识传输，实验证明该方法在多个多视角 BEV 模型上显著改善了学生模型，达到了流行基准 nuScenes 的最新性能。

Sep, 2023

Occ-BEV: 通过三维场景重建实现多摄像机联合预训练

通过设计 3D 解码器来利用多视图图像的鸟瞰图（BEV）特征预测 3D 场景的占位情况，为多摄像头智能驾驶提供了一种先进的、可行的和经济高效的解决方案，并取得了显着提升的结果。

May, 2023

GraphBEV：面向多模态三维物体检测的鲁棒 BEV 特征对齐

本文提出了一种名为 Graph BEV 的稳健融合框架，通过解决 LiDAR 和相机 BEV 特征之间的不准确对齐问题，实现了最先进的性能，mAP 为 70.1％，超过了 BEV Fusion 1.6％，在存在不对齐噪声的条件下超过 BEV Fusion 8.3％。

Mar, 2024

M-BEV：面罩 BEV 感知用于稳健自动驾驶

提出了一种能够在自动驾驶中改善鲁棒性和准确感知的 M-BEV 感知框架，通过随机遮挡和重建相机视图进行端到端训练，从而有效解决一个或多个视图摄像头无法工作的现实场景问题。

Dec, 2023

UniTR: 统一高效的多模态 Transformer 用于鸟瞰表示

UniTR 是一种高效的多模态骨干网络，用于处理多传感器数据并实现准确可靠的自动驾驶系统的感知。它引入了一种模态不可知的转换编码器来处理不同的传感器数据，并通过视角不一致的传感器数据进行并行模态表示学习和自动跨模态交互，无需额外的融合步骤。它通过同时考虑语义丰富的 2D 透视图和几何感知的 3D 稀疏邻域关系，提出了一种新颖的多模态融合策略。在 nuScenes 评测上，UniTR 在 3D 目标检测方面取得了 + 1.1 NDS 的提高，在 BEV 地图分割方面取得了 + 12.0 mIoU 的提高，并具有较低的推理延迟。

Aug, 2023