矢量化表示梦想家（VRD）：辅助多智能体运动预测

Jun, 2024

矢量化表示梦想家（VRD）：辅助多智能体运动预测

Vectorized Representation Dreamer (VRD): Dreaming-Assisted Multi-Agent Motion-Forecasting

Hunter Schofield, Hamidreza Mirkhani, Mohammed Elmahgiubi, Kasra Rezaee, Jinjun Shan

TL;DR自主驾驶车辆的轨迹预测是一个关键问题，本文引入基于向量化世界模型的 VRD 方法，通过结合传统训练和新型训练流程，实现了多智能体运动预测的优异性能。

Abstract

For an autonomous vehicle to plan a path in its environment, it must be able to accurately forecast the trajectory of all dynamic objects in its proximity. While many traditional methods encode observations in the scene to solve this problem, there are few approaches that consider the

autonomous vehicle trajectory forecasting multi-agent motion vrd state-of-the-art performance

发现论文，激发创造

DriveDreamer：面向实际驱动的自动驾驶世界模型

DriveDreamer 是第一个从真实世界驾驶场景中建立的世界模型，通过使用扩散模型和两阶段训练流程，能够准确地生成高质量驾驶视频，并捕捉到真实世界交通场景的结构约束。

Sep, 2023

AIoT - 可控交通虚拟城市中基于多智能体深度强化学习的动态角色迁移与轨迹预测

本研究提出了一个基于实时轨迹预测和多智能体深度强化学习技术的动态迁移框架，以解决虚拟汽车元宇宙中的任务迁移问题。数值结果表明，我们提出的算法可以有效地减少大约 25％的任务执行延迟，并改善用户在 AIoT-enabled Vehicular Metaverse (AeVeM) 中的沉浸式体验。

Jun, 2023

不同 iable 可微分仿真：多智能体轨迹预测

本文提出一种名为 ITRA 的深度生成模型，使用基于全差分仿真器的条件循环变分神经网络对多智能体轨迹进行预测，成功利用运动学自行车模型和鸟瞰图像实现了最新的预测结果。

Apr, 2021

DreamingV2: 基于离散世界模型的强化学习方法，无需重构

提出了一种新的强化学习方法 DreamingV2，它是 DreamerV2 和 Dreaming 的协作扩展，与 DreamingV2 的离散表示和 Dreaming 的无重构目标相比，DreamingV2 在 3D 机器人臂任务上取得了最佳成绩，适用于描述不连续环境的离散表示以及管理复杂视觉观察的无重构方式，是一种可靠的机器人学习解决方案。

Mar, 2022

多视角梦境：对比学习的多视角世界模型

本文提出了一个新的强化学习代理，Multi-View Dreaming，用于从多视角观测中进行综合识别和控制。我们使用对比学习来训练不同视角之间的共享潜在空间，并展示了如何使用专家产品方法来集成和控制多个视角的概率分布的潜在状态。我们还提出了 Multi-View DreamingV2，它使用分类分布来建模潜在状态，并证明该方法在实际机器人控制任务中优于现有方法的简单扩展。

Mar, 2022

DriveDreamer-2: 增强型世界模型用于多样化驾驶视频生成

DriveDreamer-2 是第一个使用大型语言模型生成定制驾驶视频的世界模型，它可以以用户友好的方式生成不常见的驾驶视频，并通过生成的视频提高驾驶感知方法的训练效果，视频生成质量超过其他最先进的方法，相对改进幅度达 30% 和 50%。

Mar, 2024

VectorNet：从矢量化表示编码高清地图和代理动态

本文介绍了一种新型的层级图神经网络 VectorNet，用于解决在自动驾驶汽车的动态多智能体系统中的行为预测问题，并通过在高精度建模的地图和智能体轨迹上的操作，使得该方法在两个行为预测基准测试中均达到优秀的性能。

May, 2020

一种新颖的深度神经网络在自动驾驶车辆轨迹预测中的应用：基于速度向量场

综合数据驱动的学习法和从流体流动动力学概念中生成的速度矢量场，本文提出了一种新的轨迹预测技术，将矢量场作为卷积 - 递归深度神经网络的附加输入，帮助预测基于俯视图场景的未来轨迹。该方法在 HighD 数据集上与最先进的方法进行了比较，展示了在短期和长期（5 秒）时间范围内，速度矢量场的引入提高了预测准确性，并且准确性随着观测窗口的减小而保持一致，缓解了对准确轨迹预测所需的过去观测历史的要求。

Sep, 2023

VADv2: 基于概率规划的端到端矢量化自动驾驶

通过大规模驾驶示范学习人类驾驶行为模型，提出基于概率规划的 VADv2 端到端驾驶模型，解决不确定性问题，在 CARLA Town05 基准测试中表现优异，在没有基于规则的封装的情况下稳定运行。

Feb, 2024

CarDreamer：基于世界模型的自主驾驶开源学习平台

为了在错综复杂的实际情景中安全驾驶，自主车辆需要能够适应各种道路条件并预测未来事件。为了弥补这个空白，我们介绍了 CarDreamer，这是第一个专门用于开发基于世界模型的自主驾驶算法的开源学习平台。它包括三个关键组成部分：1）世界模型骨干：CarDreamer 集成了一些最先进的世界模型，简化了 RL 算法的复现过程。2）内置任务：CarDreamer 提供一套全面可配置的驾驶任务，与 Gym 接口兼容，并配备了经验证的优化奖励函数。3）任务开发套件：该套件简化了驾驶任务的创建过程，可以轻松定义交通流量和车辆路线，并自动收集多模态观测数据。可视化服务器允许用户通过浏览器实时追踪代理驾驶视频和性能指标。我们还使用内置任务进行广泛的实验证明了 WM 在自主驾驶中的性能和潜力，并通过 CarDreamer 的丰富性和灵活性系统地研究了观测模态、可观测性和车辆意图共享对 AV 安全性和效率的影响。所有代码和文档都可以在该 URL 中访问。

May, 2024