ICLRJan, 2024

本地敏感稀疏编码用于在线学习世界模型

PDF
TL;DR在线学习是一项具有挑战性的任务，由于数据非稳态性，神经网络通常会导致灾难性遗忘，线性回归模型支持非线性随机特征，以实现高效的 Follow-The-Leader 更新，通过局部敏感稀疏编码实现高维非线性特征的高效稀疏更新，我们验证了编码的表达能力，并验证其在数据协变转移下实现了高效的在线学习，同时在 Dyna MBRL 环境中，我们的在线学习的世界模型与使用回放和其他持续学习方法训练的深度世界模型相匹配或超过了性能。
world modelmodel-based reinforcement learningfollow-the-leaderneural networkslinear regression model
发现论文，激发创造
  • 世界模型

    本研究旨在使用生成神经网络建立流行的强化学习环境下的世界模型，并利用该世界模型进行无监督学习，学习环境的空间和时间紧凑表示。通过使用从世界模型提取的特征作为代理输入，我们可以训练出非常紧凑和简单的策略来解决所需任务。我们甚至可以在代理自己的幻象梦境中完全进行训练，并将该策略传输回实际环境中。

    Mar, 2018

  • 使用本地遗忘的回放缓冲器进行自适应深度模型强化学习

    本文探讨了在深度强化学习中，如何使用改进后的 replay buffer 来解决 catastrophic forgetting 和 stale data 的问题，从而实现在环境变化时能够更加高效地应对。

    Mar, 2023

  • 潜在世界模型对于连续强化学习的惊人有效性

    本文研究了基于模型的强化学习方法，特别是对于持续强化学习的世界模型的应用。结论表明，使用世界模型是一种简单且有效的持续强化学习基准。

    Nov, 2022

  • 分散的变压器与集中的聚合是高效的多智能体世界模型

    为了解决多智能体强化学习中的可扩展性和非稳态性问题，我们提出了一种新的多智能体世界模型，通过学习分散的局部动力学来实现可扩展性，并通过中心化表示的聚合来解决非稳态性问题。我们引入了 Perceiver Transformer 作为一种有效的解决方案，通过 Transformer 体系结构对复杂的局部动力学进行建模，从而提供准确而一致的长期想象。在 Starcraft Multi-Agent Challenge（SMAC）上的结果显示，该模型在样本效率和整体性能方面优于强化学习和现有的基于模型的方法。

    Jun, 2024

  • 利用预测模型加速模仿学习

    本文介绍两种基于模型的算法，利用 Follow-the-Leader（FTL）规则来提高在线模仿学习系统的收敛速度，其中 MoBIL-VI 算法基于解决变分不等式，而 MoBIL-Prox 算法基于随机一阶更新，这两种方法都利用模型来预测未来的梯度，可以使该学习算法的样本利用率更高。

    Jun, 2018

  • 将世界模型视为图：学习用于规划的潜在地标

    该论文提出 L3P 算法，使用稀疏的多步转换学习基于图结构的世界模型并生成 Q - 函数，其在高维连续控制任务上具有优越的性能，是深度强化学习中可扩展规划的重要进展。

    Nov, 2020

  • 学习潜在动态健壮表示的世界模型

    利用视觉模型仿真提升强化学习效果，通过空时屏蔽策略和混合循环状态空间模型来准确捕捉环境的重要特征，以提高策略的学习与表现。

    May, 2024

  • ReCoRe：世界模型的正则化对比表示学习

    通过对比无监督学习和介入不变正则化的使用，提出了一种学习不变特征的世界模型，以改善强化学习在视觉导航等日常任务中的限制，并在 iGibson 基准测试中取得显著的性能提升。

    Dec, 2023

  • FTL：通过深度神经网络在低维嵌入中传输学习非线性等离子体动力学转换

    利用深度学习算法研究高维度动力行为的新方法为等离子体聚变系统内的异常模式检测和建立高效模型来进行实时控制提供了独特机会，研究发现我们的 Fusion Transfer Learning (FTL) 模型通过学习有限数量的非线性模拟数据，成功重建出非线性可刚性模式结构，实验结果突出了 FTL 捕捉等离子体动力学的过渡行为和动力学特点的能力，并指出该模型是可推广的，并可通过迁移学习扩展以应对各种磁流体力学 (MHD) 模式。

    Apr, 2024

  • 线性预测中的跟随者和快速收敛：曲线约束集合和其他规律

    研究了在线学习算法中的 Follow the Leader (FTL) 算法，证明在一定条件下即使未必为凸损失函数时，其仍可以表现出与曲率相似的性能，同时可以在保证最坏情况下得到良好的结果。

    Feb, 2017