CVPRJan, 2023

FrustumFormer: 多视角 3D 检测的自适应实例感知重采样

PDF
TL;DR本文提出了一种名为 FrustumFormer 的新型框架，通过自适应实例感知重采样，更加关注实例区域中的特征，并利用图像视图对象提取实例楔形体以学习自适应占位遮罩，从而提高物体定位的准确性，并在 nuScenes 数据集上取得了最新的最优记录。
multi-view 3d object detectionview transformationfrustumformeradaptive instance-aware resamplingtemporal frustum intersection
发现论文，激发创造
  • ViewFormer：基于视图引导的 Transformer 模型探索多视角 3D 占位感知的时空建模

    基于 3D 占据率、多视图特征聚合和动态场景的研究，我们提出了 ViewFormer，一个基于 Transformer 的视觉中心框架，具有高度的可扩展性和优越性能。

    May, 2024

  • FusionFormer：鸟瞰视图和时间一致 Transformer 的多感知融合用于 3D 目标

    多传感器模态融合的 FusionFormer 框架通过 transformers 混合多模态特征，获取鸟瞰图特征，并通过可灵活适应输入模态表示的深度预测分支提高相机检测任务的性能，同时提出一种基于 transformers 的即插即用的时域融合模块用于融合历史帧鸟瞰图特征，实现更稳定可靠的检测结果，通过对 nuScenes 数据集的评估，其在 3D 目标检测任务中获得了 72.6％的 mAP 和 75.1％的 NDS，优于现有的最先进方法。

    Sep, 2023

  • OccFormer: 双路径 Transformer 用于基于视觉的 3D 语义占用预测

    本文介绍了 OccFormer，一种双路径 Transformer 网络，有效地处理了用于自主驾驶的 3D 立体体素特征，并在 SemanticKITTI 数据集上对语义完整性和 nuScenes 数据集上的 LiDAR 语义分割方面优于现有方法。

    Apr, 2023

  • SWFormer：用于点云三维物体检测的稀疏窗口变换器

    本文提出了一种针对 3D 目标检测的模型 Sparse Window Transformer（SWFormer），它能够充分利用点云数据的稀疏性，并通过 “桶” 技术对不同长度的稀疏窗口有效地进行处理。在 Multi-scale 特征融合和窗口偏移操作的基础上，作者还引入了新的体素扩散技术。最终，在 Waymo Open Dataset 上的实验结果表明，SWFormer 相比于所有先前的单阶段和两阶段模型，取得了最新的 73.36 L2 mAPH 表现，同时更加高效。

    Oct, 2022

  • Frustum ConvNet：滑动视锥以汇聚局部点特征进行遮挡不变的三维物体检测

    本文介绍了一种名为 Frustum ConvNet 的新方法，可以从点云中识别 3D 物体。该方法首先在 RGB 图像中给出 2D 区域的建议，然后为每个区域建立一个锥体序列，并使用获得的锥体组合局部点。Frustum ConvNet 通过锥体级特征向量汇总逐点特征，并将这些特征向量作为特征映射数组用于其后续分量的完全卷积网络（FCN）来空间聚合锥体级特征，支持 3D 空间中定向框的端到端和连续估计。

    Mar, 2019

  • DistFormer：增强单目感知物体距离的局部和全局特征

    DistFormer 是一个强化本地和全局线索的结构，通过三个关键组件来提取信息、利用自监督促进有用信息的学习以及计算联合的、空间一致的估计。在多个数据集上的实验证明，DistFormer 在目标距离估计领域超越了现有方法，并具有泛化能力和零样本合成到现实场景迁移的正则化优势。

    Jan, 2024

  • FastOcc: 通过融合二维俯视图和透视视图加速三维占据预测

    在自动驾驶中，通过分析网络效应和延迟，本文提出了一种名为 FastOcc 的新方法，通过用轻量级的 2D BEV 卷积网络代替时间消耗较大的 3D 卷积网络，加快模型的推理速度，同时保持准确性，从而实现了优越的性能。

    Mar, 2024

  • 高斯形态学：基于视觉的 3D 语义占用预测中的场景高斯化

    提出一种基于对象中心表示法的 3D 语义占位预测方法，通过稀疏 3D 语义高斯来描述场景，通过注意机制从图像中聚合信息并迭代细化 3D 高斯的属性，然后通过高斯到体素喷洒方法生成 3D 占位预测。

    May, 2024

  • WidthFormer: 高效基于 Transformer 的 BEV 视角转换

    通过提出的 WidthFormer 模型，本研究将 Bird's-Eye-View（BEV）3D 检测方法应用于实时自动驾驶应用，其具有计算效率高、有效、无需特殊工程部署等特点，并通过引入 3D 位置编码机制实现了准确融合 3D 几何信息，从而实现生成高质量 BEV 表示的目标。

    Jan, 2024

  • BEVFormer: 基于时空 Transformer 通过多相机图像学习鸟瞰视角表示

    本文提出了新的 BEVFormer 框架，该框架学习使用时空变形器的统一 BEV 表示，以支持多个自主驾驶感知任务。在 nuScenes 测试集中，该方法达到了 56.9％的最新技术水平，且在低能见度条件下显着提高了速度估计和对象召回的准确性。

    Mar, 2022