AAAIJun, 2022

PolarFormer: 使用极坐标变换器进行多摄像头三维物体检测

PDF
TL;DR本论文提出了一种基于极坐标系的新型检测模型，可应用于自动驾驶中的 3D 物体检测，该模型利用多视角相机 2D 图像输入，设计了跨注意力的极坐标检测头，通过多尺度极坐标表示学习策略来解决自由变化的物体尺寸，实验表明此模型显著优于现有的 3D 物体检测方法。
3d object detectionautonomous drivingpolar coordinate systemmulti-camerastate-of-the-art
发现论文，激发创造
  • 基于视觉的全景环视三维检测的极坐标参数化

    本文提出了一种基于极坐标参数化的全景相机三维检测技术，使用视野对称性作为归纳偏置来简化优化和提高性能，并基于此提出了一种名为 PolarDETR 的环视 3D 检测转换器，在 nuScenes 基准测试中从速度到性能均表现出色。

    Jun, 2022

  • 一次训练，多次部署：基于极坐标自适应 BEV 感知的自动驾驶

    利用极坐标表示建立基于图像的 BEV 特征图，在极空间中沿射线的特征可以方便地自适应地采样，并投影到具有任意分辨率的笛卡尔空间中以实现一次多次部署的目的。

    Apr, 2023

  • FusionFormer：鸟瞰视图和时间一致 Transformer 的多感知融合用于 3D 目标

    多传感器模态融合的 FusionFormer 框架通过 transformers 混合多模态特征，获取鸟瞰图特征，并通过可灵活适应输入模态表示的深度预测分支提高相机检测任务的性能，同时提出一种基于 transformers 的即插即用的时域融合模块用于融合历史帧鸟瞰图特征，实现更稳定可靠的检测结果，通过对 nuScenes 数据集的评估，其在 3D 目标检测任务中获得了 72.6％的 mAP 和 75.1％的 NDS，优于现有的最先进方法。

    Sep, 2023

  • WidthFormer: 高效基于 Transformer 的 BEV 视角转换

    通过提出的 WidthFormer 模型，本研究将 Bird's-Eye-View（BEV）3D 检测方法应用于实时自动驾驶应用，其具有计算效率高、有效、无需特殊工程部署等特点，并通过引入 3D 位置编码机制实现了准确融合 3D 几何信息，从而实现生成高质量 BEV 表示的目标。

    Jan, 2024

  • 3DMOTFormer：在线三维多目标跟踪的图形转换器

    基于 Transformer 架构构建的学习几何 3D MOT 框架 3DMOTFormer，在进行跟踪检测双向图的基础上，通过边分类进行数据关联，并提出了一种新颖的在线训练策略，通过自回归和递归前向传播以及序列化批量优化来减少训练和推断之间的分布不匹配。

    Aug, 2023

  • PersFormer：基于透视变换和 OpenLane 基准的 3D 车道检测

    PersFormer 是一种新型的端到端基于 Transformer 的单目 3D 车道检测器，该模型通过参考相机参数生成前视局部区域的鸟瞰图特征向量，并采用统一的 2D/3D 车道锚设计和辅助任务来同时检测 2D/3D 车道线，同时释放了针对车道检测以及其他工业相关的自动驾驶方法的大型真实世界 3D 车道数据集 OpenLane，该数据集包含 200,000 帧、880,000 个实例级车道、14 个车道类别以及场景标签和封闭路径对象注释，证明 PersFormer 在 3D 车道检测任务上明显优于竞争基线，并且在 OpenLane 的 2D 任务中与现有技术水平相当。

    Mar, 2022

  • BEVFormer: 基于时空 Transformer 通过多相机图像学习鸟瞰视角表示

    本文提出了新的 BEVFormer 框架，该框架学习使用时空变形器的统一 BEV 表示，以支持多个自主驾驶感知任务。在 nuScenes 测试集中，该方法达到了 56.9％的最新技术水平，且在低能见度条件下显着提高了速度估计和对象召回的准确性。

    Mar, 2022

  • PARTNER: 极化表示优化 LiDAR 3D 物体检测

    最近，极坐标表示在感知任务中表现出了有希望的特性。除了分开不均匀地表示点云的笛卡尔方法外，将点云表示为极坐标网格被认为是一个替代方法，因为它在不同分辨率下表现稳健，且对基于流的方法具有优越性。然而，最先进的极坐标检测方法不可避免地遭受特征失真问题，因为极坐标表示被非均匀地划分，导致与笛卡尔方法相比存在不可忽略的性能差距。为了解决这个问题，我们提出了一种新的极坐标三维物体检测器 PARTNER。PARTNER 通过全局表示重新对齐缓解特征失真困境，并通过将实例级几何信息引入检测头来促进回归。大量实验证明，在基于流的检测和不同分辨率方面具有压倒性优势。此外，我们的方法在 Waymo 和 ONCE 验证集上相对于先前的极坐标方法取得了显著优势，分别达到了 3.68% 和 9.15％的竞争性结果。

    Aug, 2023

  • PolarDet: 一种用于航拍图像中旋转目标的快速、更精确的检测器

    本文提出了一种基于极坐标表示法、利用亚像素中心语义结构的快速高精度一阶段物体检测算法 ——PolarDet，其在航拍图像的物体检测任务上取得了几乎所有 SOTA 性能，并在 UCAS-AOD 数据集上取得最佳表现和最快速度（32fps）。

    Oct, 2020

  • TransCAR: 基于 Transformer 的摄像头和雷达融合技术用于 3D 物体检测

    该研究提出一种基于 Transformer 的摄像头和雷达融合方案 TransCAR，用于 3D 物体检测，并通过 set-to-set 的匈牙利损失估计每个查询的边界框，最终在挑战的 nuScenes 数据集中得到了优越的实验结果，超越了现有的基于相机 - 雷达融合的 3D 物体检测方法。

    Apr, 2023