V2X-Sim:自动驾驶多智能体协作感知数据集和基准
我们提出了一个具有多模态传感数据的数据集,以促进车辆与智能基础设施之间的协作感知发展,并通过合作感知方法的综合多类多智能体评估来支持研究。
Mar, 2024
本研究综述了车辆对基础设施(V2I)、车辆对车辆(V2V)和车辆对一切(V2X)的协作感知数据集,重点关注用于自动驾驶车辆感知任务的大规模基准的最新发展。该论文系统地分析了各种数据集,比较了它们在多样性、传感器设置、质量、公开可用性和对下游任务的适用性等方面,同时突出了领域转移、传感器设置限制以及数据集多样性和可用性方面的关键挑战。强调了在数据共享和数据集创建方面解决隐私和安全问题的重要性。结论强调了需要全面、全球可访问的数据集以及技术和研究社区的协作努力来克服这些挑战,并充分发挥自动驾驶的潜力。
Apr, 2024
本文介绍了 V2V4Real 多模态数据集和近期合作感知算法在三项任务上的全面基准测试。通过两辆车行驶,由多模态传感器收集数据,该数据集包括 20K LiDAR 帧、40K RGB 帧、240K 5 类三维边界框的标注和覆盖所有行驶路线的 HDMaps。该数据集对协作 3D 物体检测、协作 3D 物体跟踪和 Sim2Real 领域自适应合作感知等三个任务提出了需要解决的问题。
Mar, 2023
车辆对一切辅助自动驾驶(V2X-AD)具有巨大潜力,目前尚未充分探索利用基础设施和通信资源来提高驾驶性能,因此,本研究介绍了一个充分整合 V2X 通信的协同驾驶系统 CoDriving,通过改进信息共享策略以提高驾驶性能,并在研究中利用 V2Xverse 进行了专门设计的测试与评估。
Apr, 2024
本文提出了第一个大规模的开放式模拟数据集,其中包含超过 70 个有趣的场景,11464 帧和 232913 标注的三维车辆边界框,以及一个用于评估多种信息融合策略的综合基准测试。同时,作者还提议了一种新的注意力中间融合管道,以聚合来自多个连接车辆的信息,证明该管道即使在大压缩率下也能实现优秀的性能。
Sep, 2021
车联网自动驾驶开辟了发展新一代智能交通系统的有前途的方向。合作感知作为实现车联网的必要组成部分,能够克服个体感知的固有局限,包括遮挡和远程感知。我们对车联网场景下的合作感知方法进行了全面的综述,为该领域提供了深入的理解和了解。
Aug, 2023
本文研究了车路一体化(V2X)通信在提高自动驾驶车辆感知性能方面的应用,并提出了一种基于 V2X 通信的健壮的协作感知框架,使用一种新颖的视觉 Transformer。使用大规模的 V2X 感知数据集,在海量实验中表明 V2X-ViT 能够在 3D 物体检测中取得 state-of-the-art 的表现,并且即使在恶劣嘈杂的环境下具有稳健的性能。
Mar, 2022
车联网 (V2X) 的协作感知对于自动驾驶至关重要。然而,实现高精度的 V2X 感知需要大量的真实世界数据进行标注,这往往昂贵且难以获取。模拟数据因其可大规模低成本生成而备受关注。然而,模拟数据与真实世界数据之间存在显著的领域差异,包括传感器类型、反射模式和道路环境差异,导致在真实世界数据上评估的模型性能较差。为了充分利用模拟数据,我们提出了一种新的无监督 sim2real 领域适应方法,名为 Decoupled Unsupervised Sim2Real Adaptation (DUSA)。我们的新方法将 V2X 协作 sim2real 领域适应问题分解为两个子问题:sim2real 领域适应和协同代理适应。通过针对 sim2real 领域适应,设计了一种自适应聚合特征的位置适应型 Sim2Real Adapter (LSA) 模块,通过聚合全局特征上的模拟 / 真实判别器来调整来自特征图的关键位置的特征,并对模拟数据和真实世界数据之间的特征进行对齐。针对协同代理适应,我们进一步设计了一种自信度感知的协同代理 Adapter (CIA) 模块,通过代理自信度图的引导来调整异构代理的细粒度特征。实验证明了所提出的 DUSA 方法在从模拟 V2XSet 数据集到真实世界 DAIR-V2X-C 数据集的无监督 sim2real 领域适应任务中的有效性。
Oct, 2023
以自动驾驶为背景,综述了现有的集体感知数据集,并分类分析了基于不同标准如传感器模式、环境条件和场景多样性的车车及车基础设施数据集,旨在确定数据集的关键标准和呈现其优势、缺陷和异常,最终针对集体三维物体检测、跟踪和语义分割提供了推荐。
May, 2024
该研究提出了第一个大规模的多模态数据集,用于研究毫米波车到车通信。数据集包括来自 360 度摄像机、四个雷达、四个 60 GHz 相控阵、一个 3D 激光雷达和两个精确 GPS 的两车试验台的数据。该数据集涵盖了日间和夜间的城际和乡村地区,行驶距离 120 公里,速度高达 100 公里 / 小时。数据集包含了超过一百万个物体的检测结果,从卡车到自行车都有。该研究还提供了详细的数据集统计信息,证明了各种情况的覆盖情况,并强调了该数据集如何支持新颖的机器学习应用。
Jun, 2024