Mar, 2022

多视角梦境：对比学习的多视角世界模型

PDF
TL;DR本文提出了一个新的强化学习代理，Multi-View Dreaming，用于从多视角观测中进行综合识别和控制。我们使用对比学习来训练不同视角之间的共享潜在空间，并展示了如何使用专家产品方法来集成和控制多个视角的概率分布的潜在状态。我们还提出了 Multi-View DreamingV2，它使用分类分布来建模潜在状态，并证明该方法在实际机器人控制任务中优于现有方法的简单扩展。
multi-view dreamingreinforcement learningmulti-view observationscontrastive learningreal-world robotics applications
发现论文，激发创造
  • DreamingV2: 基于离散世界模型的强化学习方法，无需重构

    提出了一种新的强化学习方法 DreamingV2，它是 DreamerV2 和 Dreaming 的协作扩展，与 DreamingV2 的离散表示和 Dreaming 的无重构目标相比，DreamingV2 在 3D 机器人臂任务上取得了最佳成绩，适用于描述不连续环境的离散表示以及管理复杂视觉观察的无重构方式，是一种可靠的机器人学习解决方案。

    Mar, 2022

  • 控制梦境：通过潜在想象学习行为

    使用潜意识想象力，在学习世界模型的基础上，Dreamer 这一强化学习代理能够纯粹通过图像解决长周期任务，具有数据效率高，计算时间短和最终性能强等优势。

    Dec, 2019

  • MuDreamer: 无需重建学习预测性世界模型

    MuDreamer 是一种强大的强化学习代理，它在 DreamerV3 算法的基础上通过学习一种无需重建输入信号的预测世界模型，改善了 Dreamer 在面对视觉干扰时感知关键元素的能力。

    May, 2024

  • 基于注意力机制的深度强化学习在多视角环境中的应用

    研究了多视角环境下的深度强化学习问题，并提出基于注意力机制的方法以学习动态关注环境中不同视角的重要性以促进决策制定和复杂策略的学习。在 TORCS 赛车模拟器和三个其他带有障碍物的复杂 3D 环境上验证了该方法的有效性。

    May, 2019

  • 融合前瞻性和想象力：基于模型的协作多智能体强化学习

    本文提出了一种隐式的基于模型的多智能体强化学习方法，基于价值分解方法，能够提高在不同部分可观察的马尔可夫决策过程领域中的样本效率。

    Apr, 2022

  • 多视角强化学习

    本文介绍了多视角强化学习（MVRL）模型，通过观察模型来解决决策问题，提出了两种求解方法：观察扩展和跨角度策略转移，实验证明这两种方法在处理多视角环境中具有较好的性能，减少样本复杂度和计算时间。

    Oct, 2019

  • 基于模型的隔离想象强化学习

    Iso-Dream++ 提出了一种基于模型的强化学习方法，通过优化逆动力学以及利用分离可控状态转移的混合动态源，对视觉导向交互系统中的动态实现更有效的建模。实证研究证明，在 CARLA 和 DeepMind Control 等控制环境中，Iso-Dream ++ 能够显著优于现有的强化学习模型。

    Mar, 2023

  • 感知、想象、行动：多模态感知改进基于模型的自主竞赛强化学习

    该研究提出了一种自监督传感器融合技术，将自身视觉 LiDAR 和 RGB 相机观测数据相结合，应用于模型驱动的强化学习领域，通过提高状态估计来改善其准确性，并在零样本场景下验证了其有效性。

    May, 2023

  • 梦想适应：通过潜在目标想象和马尔可夫决策过程想象的元强化学习

    MetaDreamer 是一种基于上下文的元强化学习算法，通过元想象和 MDP 想象来减少实际训练任务和数据的需求，在学习未知任务时通过从类似任务中转移先前学习的知识，实验结果表明 MetaDreamer 在数据效率和插值推广方面胜过现有的方法。

    Nov, 2023

  • 矢量化表示梦想家（VRD）：辅助多智能体运动预测

    自主驾驶车辆的轨迹预测是一个关键问题，本文引入基于向量化世界模型的 VRD 方法，通过结合传统训练和新型训练流程，实现了多智能体运动预测的优异性能。

    Jun, 2024