多视角 3D 物体检测的观察等变性

CVPRMar, 2023

Viewpoint Equivariance for Multi-View 3D Object Detection

Dian Chen, Jie Li, Vitor Guizilini, Rares Ambrus, Adrien Gaidon

TL;DR本研究介绍了一种基于多视角几何的 3D 物体检测方法 VEDet，通过视点感知和等变性，利用查询式转换器系统将三维场景转化为位置编码来提高目标定位精度，并在损失层面进行多视角一致性规范化，通过丰富的几何线索提高性能以优化现有方法。

Abstract

3d object detection from visual sensors is a cornerstone capability of robotic systems. State-of-the-art methods focus on reasoning and decoding object bounding boxes from multi-view camera input. In this work we gain intuition from the integral role of multi-view consistency in 3D sce

3d object detection multi-view geometry vedet viewpoint equivariance state-of-the-art performance

发现论文，激发创造

通过 3D 到 2D 查询从多视角图像中进行 3D 物体检测

提出了一种基于多摄像头的 3D 对象检测框架，使用基于上下文注意力的网络，直接在 3D 空间中进行边界框的预测，实现了全球最佳性能。

Oct, 2021

基于透视矫正的通用多摄像头三维物体检测

通过与 2D 相机平面结果对齐的方法，本研究提出了一种新颖的多相机三维目标检测方法，确保持一致且准确的检测结果。该方法通过视角校正，将鸟瞰视图特征渲染为多视图地图，并纠正了这些地图的透视偏差，利用隐含的前景体来连接相机与鸟瞰视图平面。该两步过程促进了视角和上下文无关特征的学习，对于准确地检测不同视角、相机参数和环境条件下的目标至关重要。此外，该方法采用基于模型的不可知的方法，而不需要额外的推理成本和对真实场景注释，从而促进了各种模型的无缝集成和简化部署。实验结果在领域泛化和无监督领域自适应方面明确展示了其有效性。

Oct, 2023

3M3D: 多视角、多路径、多表征 3D 目标检测

提出了一种基于多视图轴自注意力和局部 ROI 自注意力的多路径多表示 3D 物体检测方法，通过稀疏浮动查询和密集 BEV 查询的多重表示进一步提高了性能，对于自动驾驶系统具有重要意义。

Feb, 2023

用于自动驾驶的多视角三维物体检测网络

该论文研究了自动驾驶场景下高精度的 3D 物体检测问题。其提出了 Multi-View 3D networks（MV3D）框架，该框架采用多传感器融合技术，将 LIDAR 点云和 RGB 图像作为输入，并预测有方向的 3D 界限框。实验表明，该方法在 3D 定位和 3D 检测任务方面的表现优于现有技术约 25％和 30％，在 2D 检测中也表现出显著的技术优势。

Nov, 2016

面向自动驾驶的具有变换对称性的三维物体检测

在自动驾驶领域，应用 TED 模型能够高效地检测汽车等 3D 物体。TED 利用稀疏卷积提取多通道等变体素特征，使得其在处理大量数据时仍然能快速的检测物体。同时，在 KITTI 竞赛的排名上表现十分出众，达到全球第一。

Nov, 2022

特征透视变换在多视角检测中的应用

本研究提出了一种新的多视角检测系统 MVDet，采用基于鸟瞰图的无 Anchor 盒方法来聚合视图信息并在地平面特征图上应用大内核卷积。在新引入的合成数据集 MultiviewX 上的结果表明，相比于现有方法在 Wildtrack 数据集上的最新技术，该方法提高了 14.1% 的 MODA 性能。

Jul, 2020

Anyview: 可变帧室内三维物体检测的普适性方法

本文提出了一个用于室内 3D 物体检测的新型网络框架，能够处理实际场景中可变帧数的输入数据，并通过几何学习器、局部 - 全局特征交互和动态标记策略来增强模型的泛化性能。实验证明，该方法在 ScanNet 数据集上同时实现了良好的泛化能力和高检测准确度。

Oct, 2023

等变多视角网络

本文提出了一种基于群卷积的多视图融合方法，实现对所有视图的联合推理，并通过对旋转群的离散子群进行卷积来维持等变性，从而在多个大规模的 3D 形状检索任务中取得了新的最高水平，并且在全景场景分类方面也有额外的应用。

Apr, 2019

基于全景分割引导的 LiDAR 多视角三维物体检测通用框架

本研究提出了一种利用分割信息指导检测过程的多任务框架，该框架联合执行三维物体检测和全景分割，可利用多视角信息解决每个投影视图的缺陷，并通过前景语义信息和中心密度热力图来提示物体的可能框中心位置。在 nuScenes 数据集上进行的大量实验表明，该方法提供了显著的性能提升，基于单级 CenterPoint 3D 物体检测网络的所提出方法在 nuScenes 3D 检测基准上取得了 67.3 NDS 的最新性能。

Mar, 2022

基于学习的几何软约束的同时多视图实例检测

本文提出一种综合学习多视图几何和视图间扭曲的技术，适用于鲁棒的跨视图物体检测，结合图像外貌和几何学软约束的单一多视图检测过程可通过新的大尺度公开数据集进行验证，在城市全景下呈现出优秀性能，具有跨视图物体识别和重新识别、定制化多视图实例检测的注解工具和新的综合多视图检测和重新识别多种贡献。

Jul, 2019