UniZero: 通用高效规划与可扩展潜在世界模型

Jun, 2024

UniZero: 通用高效规划与可扩展潜在世界模型

UniZero: Generalized and Efficient Planning with Scalable Latent World Models

Yuan Pu, Yazhe Niu, Jiyuan Ren, Zhenjie Yang, Hongsheng Li...

TL;DRUniZero 是一种基于 Transformer 的新增方法，通过解耦潜在状态和历史信息，能够更好地捕捉长期依赖关系，提供了更加广泛和高效的潜在空间规划，相比 MuZero-style 算法在 Atari 100k 基准测试中表现更好，且在需要长期记忆的基准测试中显著优于之前的基线模型。

Abstract

Learning predictive world models is essential for enhancing the planning capabilities of reinforcement learning agents. Notably, the MuZero-style algorithms, based on the value equivalence principle and Monte Carlo Tree Search (MCTS), have achieved superhuman performance in various dom

world models muzero-style algorithms latent representations unizero long-term memory

发现论文，激发创造

等变 MuZero

本文提出一种改进 MuZero 强化学习算法的方法，通过将环境的对称性显式地纳入其世界模型架构，既提高了数据效率，又提高了泛化能力，并在 MiniPacman 和 Chaser 上进行测试。

Feb, 2023

通过学习模型规划，掌握雅达利、围棋、国际象棋和将棋

本文提出了 MuZero 算法，它通过结合基于树的搜索和学习模型实现了对一系列具有挑战性且视觉复杂的领域的超人类表现，在 57 款不同的 Atari 游戏上以及对 Go、国际象棋和象棋等游戏的测试中，都表现出了与 AlphaZero 算法相当的性能，而无需知道游戏规则。

Nov, 2019

利用学习模型实现高效的离线策略优化

通过研究，本文提出使用一种规范化的一步前瞻方法来解决 MuZero Unplugged 在离线强化学习设置下可能存在的一些问题，并在 BSuite 环境中进行了广泛的实证研究，得到了稳定的结果，并在大规模的 Atari 基准测试中取得了优异的表现。

Oct, 2022

MuZero 学习的模型是什么？

本文介绍了一种名为 MuZero 的深度模型强化学习算法，研究其深度学习模型的学习目标和用于策略改进的实用性，结果表明 MuZero 所学模型不能有效地推广到评估未知的策略，这限制了我们使用该模型进行计划进一步改善当前策略的程度。

Jun, 2023

用于规划的矢量量化模型

使用离散自编码器来处理动作在随机环境中引起的多种可能性，再结合随机版 Monte Carlo 树搜索算法规划代理的动作和代表环境反应的离散潜变量，明显优于 MuZero 在处理随机国际象棋和 DeepMind Lab 等部分观测模型的 RL 问题中的表现。

Jun, 2021

LightZero: 通用顺序决策场景下的统一蒙特卡罗树搜索基准

通过在各类领域中构建强大的 LightZero 代理，我们展示了使用基于树搜索规划能力与学习模型的代理在处理复杂动作空间和昂贵模拟成本、或存在随机因素的真实世界问题时的显著潜力。

Oct, 2023

使用自监督的世界模型进行规程泛化

在本文中，我们评估了 MuZero 代理在程序化和任务通用性方面的性能，并通过比较自由模型代理，确定了模型代理的泛化能力。我们发现，计划、自监督表示学习和程序数据多样性是程序化通用性的三个因素，并表明结合这些技术可以实现出色的通用性性能和数据效率。然而，我们发现这些因素不总是为 Meta-World 中的任务通用性基准提供相同的好处。

Nov, 2021

探索代理人环境，以优化其模型以获得更好的决策

为了提高人工智能的决策能力，文章提出了一种基于预测和规划的决策树算法 MuZero，通过该算法对决策树进行探索和改进，显著提高了代理人的决策能力。

Jun, 2023

UniWorld：基于世界模型的自主驾驶预训练

该研究论文利用 Alberto Elfes 在 1989 年的先驱性工作中引入了占据栅格的概念，并为机器人赋予了一种空间 - 时间世界模型（UniWorld），从而感知其环境并预测其他参与者的未来行为。UniWorld 能够估计世界状态中缺失的信息，并预测世界的合理未来状态，该统一预训练框架在运动预测、多相机三维物体检测和周围场景语义完成等关键任务中展现了有希望的结果，对于实现真实世界的自动驾驶具有重要实用价值。

Aug, 2023

有限数据下的 Atari 游戏掌握

EfficientZero 是一种基于 MuZero 的样本有效的模型图像强化学习算法，在只有两个小时实时游戏体验的情况下，在 Atari 100k 基准测试上取得了 194.3％的人类平均性能和 109.0％的中位性能，并且在一些 DMControl 100k 基准测试中胜过了 state SAC 算法，是第一次用如此少的数据量实现超越人类的 Atari 游戏算法。

Oct, 2021