Feb, 2024

EMIFF: 增强的多尺度图像特征融合在车辆基础设施合作式三维物体检测中的应用

PDF
TL;DR我们提出了一种基于相机的三维检测框架，名为 Enhanced Multi-scale Image Feature Fusion (EMIFF)，用于车辆和基础设施之间的协作感知任务。通过引入 Multi-scale Cross Attention (MCA) 和 Camera-aware Channel Masking (CCM) 模块，我们能够在尺度、空间和通道级别上增强基础设施和车辆特征，以修正由于相机不同步引入的姿态误差。同时，我们引入了 Feature Compression (FC) 模块，通过通道和空间压缩块提高传输效率。实验表明，EMIFF 在 DAIR-V2X-C 数据集上取得了 state-of-the-art 结果，显著优于以往的早期融合和晚期融合方法，在可比较的传输成本下取得了优异的性能。
cooperative perceptionautonomous drivingvehicle-infrastructure cooperative 3d object detectioncamera-based 3d detection frameworkenhanced multi-scale image feature fusion
发现论文，激发创造
  • 基于流的特征融合的车辆基础设施协作式三维物体检测

    利用自车与基础设施传感器数据的合作使用可以显著提高自主驾驶感知能力，为解决车辆 - 基础设施合作三维物体检测中的问题，我们提出了一种新的合作检测框架 Feature Flow Net (FFNet)，它是一种基于流的特征融合框架，利用特征流预测模块预测未来特征并进行补偿，同时引入自监督训练方法使 FFNet 能够从原始基础设施序列中生成具备特征预测能力的特征流，在 DAIR-V2X 数据集上实验结果表明，我们的方法在只需 1/100 的原始数据传输成本且在一个模型中覆盖所有延迟的情况下，优于现有的合作检测方法。

    Nov, 2023

  • MIFI: 多摄像头特征融合的稳健 3D 分心式驾驶员活动识别

    通过多摄像头特征集成的方法，加权学习易难样本并提出周期性学习的例子重新加权方法，提高分散驾驶员行为识别的性能。

    Jan, 2024

  • DAIR-V2X: 用于车路协作三维物体检测的大规模数据集

    发布了第一个用于车路协同自动驾驶的真实场景多模态多视角数据集 DAIR-V2X，其中包括 71254 帧 LiDAR 和摄像头帧，是解决车路协同 3D 物体检测问题的一个基准，并提出了延迟融合框架 TCLF。

    Apr, 2022

  • MAFF-Net：使用多模式自适应特征融合过滤 3D 车辆检测的误报

    本文提出了一种基于多模态融合的三维车辆检测方法，使用图像信息有效降低了假阳性，具有快速检测速度；通过基于通道注意力机制的多模态自适应特征融合模块，实现了对不同模态特征的自适应调节和融合技术的适应性，实验结果表明该方法能够过滤掉更多的假阳性，并在 KITTI 基准测试中获得了最快速度和更好的性能。

    Sep, 2020

  • 三维物体检测的同质多模态特征融合与交互

    本研究提出了一种基于均质结构和自注意力机制的多模态特征融合和交互方法，通过将相机特征转换为 LiDAR 3D 空间，在避免项目信息丢失的同时增强了在复杂背景下的鉴别能力，在 KITTI 基准中超越了所有已发表的算法。

    Oct, 2022

  • 3M3D: 多视角、多路径、多表征 3D 目标检测

    提出了一种基于多视图轴自注意力和局部 ROI 自注意力的多路径多表示 3D 物体检测方法，通过稀疏浮动查询和密集 BEV 查询的多重表示进一步提高了性能，对于自动驾驶系统具有重要意义。

    Feb, 2023

  • 互信息校准的边缘环境不确定性感知多模态三维物体检测

    通过将协同推断原理与信息理论测量相集成，我们的研究在多模态框架内实现了轻量级、无蒙特卡罗的不确定性估计，并通过多元高斯变分自动编码器的潜变量的乘积来融合 RGB 摄像机和 LiDAR 传感器数据的特征以提高预测准确性。通过基于加权损失函数的 CI 得出的不确定性边界的标准化互信息被用作调制器。我们的仿真结果表明，在模型训练期间，内在的预测不确定性与 NMI 呈负相关。该框架在 KITTI 3D 物体检测基准上展示了与不具备不确定性感知能力的相似方法相媲美甚至更好的性能，适用于边缘实时机器人技术。

    Sep, 2023

  • 用于自动驾驶的多视角三维物体检测网络

    该论文研究了自动驾驶场景下高精度的 3D 物体检测问题。其提出了 Multi-View 3D networks（MV3D）框架，该框架采用多传感器融合技术，将 LIDAR 点云和 RGB 图像作为输入，并预测有方向的 3D 界限框。实验表明，该方法在 3D 定位和 3D 检测任务方面的表现优于现有技术约 25％和 30％，在 2D 检测中也表现出显著的技术优势。

    Nov, 2016

  • 可见光 - 红外人员再识别的多尺度语义相关挖掘

    通过多尺度语义相关性挖掘网络（MSCMNet），从不同的模态中提取有区分性的特征用于匹配的任务中，最大的挑战在于如何全面利用语义特征以及尽可能减少特征提取中的模态信息损失。该网络包含三个主要组成部分：多尺度信息相关性挖掘模块（MIMB）用于关联多尺度语义特征，四重流特征提取器（QFE）用于从数据集的不同维度提取信息以丰富语义信息，以及四重中心三重损失（QCT）用于解决综合特征中的信息差异问题。在 SYSU-MM01、RegDB 和 LLCM 数据集上进行的广泛实验表明，所提出的 MSCMNet 具有最高的准确性。

    Nov, 2023

  • 可学习通信的自动驾驶系统协同式三维物体检测

    本文提出一种新的协同三维物体检测框架，通过利用空间分布式传感器所提供的信息来辅助自动驾驶系统中的感知精度，同时避免因事先的通信方案导致通信拥堵和 / 或性能受限的问题。通过两个复杂的驾驶场景的实验结果和带宽使用分析，证明了该方法可以在各种检测困难情况下节省通信和计算成本，并显著提高检测性能。

    May, 2022