感知、想象、行动：多模态感知改进基于模型的自主竞赛强化学习

May, 2023

感知、想象、行动：多模态感知改进基于模型的自主竞赛强化学习

Sense, Imagine, Act: Multimodal Perception Improves Model-Based Reinforcement Learning for Head-to-Head Autonomous Racing

PDF

Elena Shrestha, Chetan Reddy, Hanxi Wan, Yulun Zhuang, Ram Vasudevan

TL;DR该研究提出了一种自监督传感器融合技术，将自身视觉 LiDAR 和 RGB 相机观测数据相结合，应用于模型驱动的强化学习领域，通过提高状态估计来改善其准确性，并在零样本场景下验证了其有效性。

Abstract

model-based reinforcement learning (MBRL) techniques have recently yielded promising results for real-world autonomous racing using high-dimensional observations. MBRL agents, such as Dreamer, solve long-horizon

model-based reinforcement learning autonomous racing sensor fusion multimodal perception world model

发现论文，激发创造

学习潜在动态健壮表示的世界模型

利用视觉模型仿真提升强化学习效果，通过空时屏蔽策略和混合循环状态空间模型来准确捕捉环境的重要特征，以提高策略的学习与表现。

May, 2024

DreamerPro: 无需重建的基于模型的原型表示强化学习

本研究旨在提高基于模型的强化学习代理在处理视觉干扰方面的鲁棒性。我们提出了一种从世界模型的循环状态中学习原型表示的方法，将过去的观察和动作中的时间结构提取为原型。DreamerPro 模型通过将 Dreamer 与原型组合起来，在标准设置和存在复杂背景干扰的情况下都取得了大幅性能提高。

Oct, 2021

视觉与触觉的整合：自监督学习的多模态接触任务表示

本文使用自我监督的方式学习了一种紧凑的多模态表示方法，将触觉和视觉反馈结合起来，以改善高维输入控制策略的样本效率，该方法在模拟和实际机器人实验中均表现出鲁棒性和广泛泛化能力。

Oct, 2018

与环境对话：使用大型语言模型进行交互式多模态感知

在机器人的交互感知中，使用预先训练的大型语言模型（LLMs）作为交互感知框架，并将其应用于决策问题以及规划多模态环境中的任务执行，这样可以通过感知来指导认知行为和高层次的决策规划，这种方法可以显著提高任务完成的准确性和效率。

Mar, 2023

SAM-RL: 基于可微物理仿真与渲染的感知感知模型强化学习

提出了一种基于感知的模型强化学习系统 SAM-RL，利用可微分的基于物理学的模拟和渲染自动更新模型，并通过不同的视角监测任务进程以提高样本效率，在三个机器人操作任务中进行了实际应用并证明了其有效性。

Oct, 2022

Learn-to-Race: 自主赛车的多模态控制环境

该论文通过模拟赛车比赛的方式，使用多模态信息来帮助自动驾驶智能体的学习，在对真实世界的模拟中精确模拟车辆动力学和赛车条件，实现了智能体的学习。

Mar, 2021

使用多模态深度强化学习训练交互式人形机器人

通过让人形机器人玩井字棋的学习方法，成功探索了多模态深度强化学习、机器人视觉感知和交互等方向，并利用语音、视觉和手势等方式让机器人在该游戏中实现了高效而自然的交互。

Nov, 2016

基于视觉的自主无人机赛车的深度感觉运动策略学习

通过学习深度的感知动作策略，使用对比学习从输入图像中提取固定特征表示，通过两阶段的作弊式学习框架训练神经网络策略，将视觉驱动的自主无人机竞赛问题转化为了提取原始图像的特征表示进行控制命令推断，无需全局一致的状态估计、轨迹规划和手工控制设计。该方法不仅可使控制策略更具有鲁棒性，而且可以实现与状态法相同的赛车性能，为开发纯靠图像输入控制无人机的智能视觉自主系统铺平了道路。

Oct, 2022

多视角梦境：对比学习的多视角世界模型

本文提出了一个新的强化学习代理，Multi-View Dreaming，用于从多视角观测中进行综合识别和控制。我们使用对比学习来训练不同视角之间的共享潜在空间，并展示了如何使用专家产品方法来集成和控制多个视角的概率分布的潜在状态。我们还提出了 Multi-View DreamingV2，它使用分类分布来建模潜在状态，并证明该方法在实际机器人控制任务中优于现有方法的简单扩展。

Mar, 2022

理解视觉和触觉：学习接触丰富任务的多模态表征

本文提出一种使用自我监督的方法学习机器人多模态的传感输入表示，来提高学习策略的样本效率，以期应对传统方法在在处理未结构化环境下的接触丰富型操作上的局限性。在模拟环境和物理机器人实验中验证了该方法的有效性。

Jul, 2019