Sep, 2023

HPL-ViT：用于 V2V 的异构并行激光雷达统一感知框架

PDF
TL;DR开发下一代智能 LiDAR 的新框架，并在实验平台 DAWN 上构建硬件原型，强调物理空间和数字空间在 LiDAR 系统中的紧密集成，其中网络是其支持的核心特性之一，通过使用 OpenCDA 和 RLS 构建异构 LiDAR 数据集 OPV2V-HPL，并提出 HPL-ViT 架构用于异构和动态场景中的稳健特征融合，通过在 OPV2V-HPL 上进行广泛实验验证，HPL-ViT 在所有设置中实现了 SOTA 性能，并展现出出色的泛化能力。
发现论文，激发创造
  • HM-ViT: 异模态车辆间合作感知的视觉变换器

    该研究提出了一种新型的多智能体异态合作感知框架，名为 HM-ViT，可以在异构传感器模态下协同预测高度动态的自动驾驶交通中的三维物体。实验证明 HM-ViT 相比先前的合作感知方法具有更好的效果。

    Apr, 2023

  • V2X-ViT: 具有视觉转换器的车辆到一切合作感知

    本文研究了车路一体化（V2X）通信在提高自动驾驶车辆感知性能方面的应用，并提出了一种基于 V2X 通信的健壮的协作感知框架，使用一种新颖的视觉 Transformer。使用大规模的 V2X 感知数据集，在海量实验中表明 V2X-ViT 能够在 3D 物体检测中取得 state-of-the-art 的表现，并且即使在恶劣嘈杂的环境下具有稳健的性能。

    Mar, 2022

  • OPV2V: 一个用于车辆间通信感知的开放数据集和融合管道

    本文提出了第一个大规模的开放式模拟数据集，其中包含超过 70 个有趣的场景，11464 帧和 232913 标注的三维车辆边界框，以及一个用于评估多种信息融合策略的综合基准测试。同时，作者还提议了一种新的注意力中间融合管道，以聚合来自多个连接车辆的信息，证明该管道即使在大压缩率下也能实现优秀的性能。

    Sep, 2021

  • V2X-AHD: 基于非对称异质蒸馏网络的车辆与一切协作感知

    通过提出一种多视角车路协同感知系统（V2X-AHD），利用不同的训练数据提高轮廓识别的准确性，并借助多头自注意力（MSA）融合单视角特征，从而有效提高 3D 物体检测的准确性和降低网络参数数量。

    Oct, 2023

  • 实用协作感知：异步和多智能体三维物体检测框架

    本文介绍一种新的通过点云序列检测车辆 3D 物体的方法，采用 LiDAR 传感器解决阴影效应与 HD 地图配合，并使用 V2X 通信技术提高车辆感知性能，同时优化带宽性能.

    Jul, 2023

  • HoloVIC: 多传感器全息交叉与车辆基础设施协同的大规模数据集和基准

    构建了一个大规模多传感器全息车路协同数据集 HoloVIC，包含三种类型的传感器，使用四种不同的交叉口布局，共 100k + 个同步帧，用于提升路侧感知的准确性和为车辆提供更好的信息，进而促进相关研究的发展。

    Mar, 2024

  • 自动驾驶中多视角传感器数据融合提升感知和预测

    本文提出了一种利用多视角 LiDAR 返回和摄像头图像的终端到终端物体检测和轨迹预测方法，使用 Bird's-Eye View (BEV) 网络的状态 -of-the-art 融合历史 LiDAR 数据和高清地图的体素化特征来执行检测和预测任务。在此基础上，我们使用 LiDAR Range-View （RV）功能扩展了此模型，使用 LiDAR 原始信息的非量化表示。RV 特征图被投影到 BEV 中，并与计算自 LiDAR 和高清地图的 BEV 特征融合。最终输出检测和轨迹，这是一个单一的可训练终端到终端网络。在实际的无人驾驶车辆数据和公共 nuScenes 数据集上，所提出的多视角融合方法的表现都优于最先进的技术，并且增加了较少的计算成本。

    Aug, 2020

  • FusionViT: 基于 LiDAR - 相机视觉变换的层次化 3D 物体检测

    通过 FusionViT 模型，在 KITTI 和 Waymo Open 数据集上进行了大量实验，实现了最先进的性能，并且优于仅依赖于相机图像或 Lidar 点云以及最新的多模态图像 - 点云深度融合方法。

    Nov, 2023

  • 并行 LiDAR 对话：基于 3D 视觉基础的人 - 激光雷达交互方法

    为了赋予激光雷达系统认知能力，我们在并行激光雷达中引入了三维视觉对接任务，并提出了一种新颖的激光雷达人机交互范式。我们提出了 Talk2LiDAR，一个针对自动驾驶中三维视觉对接的大规模基准数据集，以及一种名为 BEVGrounding 的高效单阶段方法，通过将粗粒度的句子和细粒度的词嵌入与视觉特征融合，显著提高了对接准确率。我们在 Talk2Car-3D 和 Talk2LiDAR 数据集上的实验证明了 BEVGrounding 的卓越性能，为该领域的进一步研究奠定了基础。

    May, 2024

  • V2X-Real：一个大规模的车辆对一切协作感知数据集

    我们提出了一个具有多模态传感数据的数据集，以促进车辆与智能基础设施之间的协作感知发展，并通过合作感知方法的综合多类多智能体评估来支持研究。

    Mar, 2024