通过引入一种扩充缓冲区的方法来缓解记忆约束，将其与基于模型的强化学习算法结合使用，从而在持续学习中提高效果。我们在 Procgen 和 Atari RL 基准测试中评估了这种方法的有效性，并证明了在潜在世界模型的背景下，用于回放缓冲区的分布匹配扩充可以成功防止灾难性遗忘，并大大减少了计算开销。然而，我们也发现此类解决方案并非完全没有缺陷，还存在缺乏可塑性和无法学习新任务等失败模式，可能是持续学习系统的潜在限制。

Jan, 2024

本研究旨在使用生成神经网络建立流行的强化学习环境下的世界模型，并利用该世界模型进行无监督学习，学习环境的空间和时间紧凑表示。通过使用从世界模型提取的特征作为代理输入，我们可以训练出非常紧凑和简单的策略来解决所需任务。我们甚至可以在代理自己的幻象梦境中完全进行训练，并将该策略传输回实际环境中。

Mar, 2018

本研究介绍了一种名为 'observational dropout' 的改进强化学习方法，该方法通过限制智能体在每个时间步的真实环境观察能力，强制智能体学习填补观察不足的世界模型，结果表明基于这种模型的强化学习算法可以提高智能体的学习效率和执行能力。

Oct, 2019

本文提出了一种名为 WAKER 的基于 minimax 遗憾目标的算法，可在 reward-free 环境下有效地学习鲁棒的世界模型，以提高不同环境下的机器人性能。

Jun, 2023

在标准强化学习设置中，通过立即获得行为后效果的反馈是常见的假设；然而，由于物理限制，在实践中这种假设可能并不成立，可能严重影响强化学习算法的性能。本文关注部分可观测环境中观察延迟的处理。我们提出利用过去观测和学习动态的世界模型来处理观察延迟。通过将延迟型 POMDP 降低为具有世界模型的延迟型 MDP，我们的方法可以有效处理部分可观察性，在现有方法在可观察性降低时实现次优性能甚至迅速降级的情况下表现出更好的性能。实验证明，我们的方法之一可以比天真的基于模型的方法的表现高出 30%。此外，我们首次在基于视觉输入的延迟环境上评估了我们的方法，展示了延迟感知的视觉观察强化学习。

Mar, 2024

通过进行实证调查，这篇论文深入研究了世界模型中观察建模和奖励建模的作用，并发现在调和观察和奖励建模之间的干扰方面存在更高效的模型驱动强化学习的潜力。借助这些发现，提出了一种称为 Harmony World Models（HarmonyWM）的简单而有效的方法，通过引入一个轻量级的调和器来保持世界模型学习中两个任务之间的动态平衡。实验结果表明，基于 HarmonyWM 方法的基础模型驱动强化学习方法在三个视觉控制领域取得了 10% 至 55% 的绝对性能提升。

Sep, 2023

提出了 Continual World 基准，并进行了基于机器人任务的方法评估，该评估针对 Continual learning 中的前向迁移和 Catastrophic forgetting 进行优化，以提高方法在 RL 中的性能。

May, 2021

该论文提出 L3P 算法，使用稀疏的多步转换学习基于图结构的世界模型并生成 Q - 函数，其在高维连续控制任务上具有优越的性能，是深度强化学习中可扩展规划的重要进展。

Nov, 2020

通过对比无监督学习和介入不变正则化的使用，提出了一种学习不变特征的世界模型，以改善强化学习在视觉导航等日常任务中的限制，并在 iGibson 基准测试中取得显著的性能提升。

Dec, 2023

研究利用特征空间和世界模型提高机器人在可变形物体折叠任务中的学习效率和性能，结果发现使用特征点可以将最佳模型的性能提升 50％，学习效率也可以得到提升。

Oct, 2022