S2R-ViT 多智能体协作感知：从模拟到现实的缩小差距

Jul, 2023

S2R-ViT 多智能体协作感知：从模拟到现实的缩小差距

S2R-ViT for Multi-Agent Cooperative Perception: Bridging the Gap from Simulation to Reality

Jinlong Li, Runsheng Xu, Xinyu Liu, Baolu Li, Qin Zou...

TL;DR本篇论文提出了一种名为 S2R-ViT 的新型视觉转换器的模拟到现实转换学习框架，以解决现有多智能体协作感知算法的模拟与现实数据之间的显著领域差距问题，并进行了公开数据集上的实验证明，其在点云 3D 目标检测方面的性能优于其他方法。

Abstract

Due to the lack of real multi-agent data and time-consuming of labeling, existing multi-agent cooperative perception algorithms usually select the simulated sensor data for training and validating. However, the perception performance is degraded when these simulation-trained models are

multi-agent cooperative perception simulation-to-reality transfer learning vision transformer implementation gap feature gap

发现论文，激发创造

HM-ViT: 异模态车辆间合作感知的视觉变换器

该研究提出了一种新型的多智能体异态合作感知框架，名为 HM-ViT，可以在异构传感器模态下协同预测高度动态的自动驾驶交通中的三维物体。实验证明 HM-ViT 相比先前的合作感知方法具有更好的效果。

Apr, 2023

V2X-ViT: 具有视觉转换器的车辆到一切合作感知

本文研究了车路一体化（V2X）通信在提高自动驾驶车辆感知性能方面的应用，并提出了一种基于 V2X 通信的健壮的协作感知框架，使用一种新颖的视觉 Transformer。使用大规模的 V2X 感知数据集，在海量实验中表明 V2X-ViT 能够在 3D 物体检测中取得 state-of-the-art 的表现，并且即使在恶劣嘈杂的环境下具有稳健的性能。

Mar, 2022

DUSA: 解耦无监督 Sim2Real 车辆协同感知适应

车联网 (V2X) 的协作感知对于自动驾驶至关重要。然而，实现高精度的 V2X 感知需要大量的真实世界数据进行标注，这往往昂贵且难以获取。模拟数据因其可大规模低成本生成而备受关注。然而，模拟数据与真实世界数据之间存在显著的领域差异，包括传感器类型、反射模式和道路环境差异，导致在真实世界数据上评估的模型性能较差。为了充分利用模拟数据，我们提出了一种新的无监督 sim2real 领域适应方法，名为 Decoupled Unsupervised Sim2Real Adaptation (DUSA)。我们的新方法将 V2X 协作 sim2real 领域适应问题分解为两个子问题：sim2real 领域适应和协同代理适应。通过针对 sim2real 领域适应，设计了一种自适应聚合特征的位置适应型 Sim2Real Adapter (LSA) 模块，通过聚合全局特征上的模拟 / 真实判别器来调整来自特征图的关键位置的特征，并对模拟数据和真实世界数据之间的特征进行对齐。针对协同代理适应，我们进一步设计了一种自信度感知的协同代理 Adapter (CIA) 模块，通过代理自信度图的引导来调整异构代理的细粒度特征。实验证明了所提出的 DUSA 方法在从模拟 V2XSet 数据集到真实世界 DAIR-V2X-C 数据集的无监督 sim2real 领域适应任务中的有效性。

Oct, 2023

虚拟到现实：在视觉语义分割中学习控制

为解决机器人虚拟世界到真实世界的迁移问题，本文提出了一种基于模块化架构、采用语义图像分割作为元表示的深度强化学习方法，实现了 RGB 图像到语义图像段转换。实验结果表明，该架构在避障和目标跟踪任务中表现优异，并在虚拟和真实环境中均明显优于基准方法。

Feb, 2018

机器人 VR 眼镜：基于实际到虚拟域适应的视觉控制

本文提出了一种新颖的方法来解决从模拟环境到真实世界的深度强化学习策略传输问题，通过在部署阶段将真实世界的图像流翻译回合成域来解决这个问题，同时提出了一种不受下游任务影响的简单而有效的位移损失以及在室内和室外机器人实验中验证了我们的视觉控制方法。

Feb, 2018

V2X-Sim：自动驾驶多智能体协作感知数据集和基准

通过提出 V2X-Sim，一个完整的模拟多智能体感知数据集，本文试图为自动驾驶的协作式感知研究提供一个 benchmark，其中包含了多节点感知、多模态感知以及各种各样的真实解等任务，并为最前沿的协作式感知算法提供一个基准。

Feb, 2022

零样本 Sim2Real 环境自适应

提出了使用 Reverse Action Transformation（RAT）策略的方法来解决模拟到现实世界之间的转换问题，并且和其他基线模型相比，在连续控制任务中可实现零样本适应。

Feb, 2023

实用协作感知：异步和多智能体三维物体检测框架

本文介绍一种新的通过点云序列检测车辆 3D 物体的方法，采用 LiDAR 传感器解决阴影效应与 HD 地图配合，并使用 V2X 通信技术提高车辆感知性能，同时优化带宽性能.

Jul, 2023

V2V4Real：一项用于车辆间协作感知的真实世界大规模数据集

本文介绍了 V2V4Real 多模态数据集和近期合作感知算法在三项任务上的全面基准测试。通过两辆车行驶，由多模态传感器收集数据，该数据集包括 20K LiDAR 帧、40K RGB 帧、240K 5 类三维边界框的标注和覆盖所有行驶路线的 HDMaps。该数据集对协作 3D 物体检测、协作 3D 物体跟踪和 Sim2Real 领域自适应合作感知等三个任务提出了需要解决的问题。

Mar, 2023

V2X-Real：一个大规模的车辆对一切协作感知数据集

我们提出了一个具有多模态传感数据的数据集，以促进车辆与智能基础设施之间的协作感知发展，并通过合作感知方法的综合多类多智能体评估来支持研究。

Mar, 2024