Dec, 2020

迈向持续强化学习：综述与展望

PDF
TL;DR本文综述了关于非不变 RL（Lifelong 或非平稳 RL）的不同公式和方法的文献，提出了连续 RL 公式的分类法，并提供了连续 RL 方法的分类。此外，我们讨论了评估连续 RL 代理的重要度量和开放性问题，并强调了这方面的研究前景。
continual reinforcement learningnon-stationaritytaxonomyevaluationneuroscience
发现论文，激发创造
  • 深度强化学习在生命周期非稳态环境下的应用

    在非稳态环境下，我们提出了一种新的离线强化学习算法，该算法使用潜在变量模型，将当前和过去的经验学习环境的表示，并在此表示下执行离线强化学习，实验结果表明这种方法显著优于不考虑环境变化的方法。

    Jun, 2020

  • 时变系统中强化学习的揭秘

    探索如何通过一个稳健的框架解决非稳态环境下的强化学习问题，其中该框架通过识别不同的环境、触发探索、将先前环境的知识保留下来以及保护系统性能来训练 RL agent，并且在解决一些系统问题时进行了验证。

    Jan, 2022

  • 应对生涯强化学习中非稳态性的反应性探索

    该论文探讨了在终身学习的情境下如何跟踪和适应持续的领域转变，为此提出了反应式探索方法，并基于实验证明，策略梯度方法是适合于终身学习的一种学习方法，能更快地适应分布变化。

    Jul, 2022

  • 以计算有限的强化学习为基础的持续学习

    一个高效地累积知识、在长期生命周期中不断发展更复杂技能的代理机构，可以推动人工智能能力的前沿。本文概述和形式化了持续学习的概念，引入了一个框架和一套工具来激发进一步的研究。

    Jul, 2023

  • 非稳态环境下的强化学习

    本研究提供一种在非平稳环境下最优决策的强化学习方法，包括改进的变点检测算法和最大化长期折扣奖励的强化学习算法，并在非平稳的随机马尔可夫决策过程、传感器能源管理和交通信号控制等问题中验证了其有效性。

    May, 2019

  • 针对未知情况的调整：重新审视终身强化学习的评估策略

    本文研究了终身强化学习中的关键问题，通过新的调优和评估方法，在只有百分之一的实验数据用于超参数调整的情况下，发现 DQN 和 Soft Actor Critic 方法表现不佳，而一些保持网络可塑性的算法措施表现出色，并且网络不断学习的能力与百分之一调优下的性能关联密切。

    Apr, 2024

  • 实时策略游戏综合终身强化学习智能体系统设计

    本文介绍了 L2RLCF 框架以及通过 Starcraft-2 小游戏实现不同组件的整合，从而实现连续学习的能力并进行全面客观的比较。

    Dec, 2022

  • 作为终身学习现实场景的持续协调

    本研究提出了一个基于 Hanabi 的多智能体生涯学习测试平台，研究了最新的多智能体强化学习算法，对限制的内存和计算权衡性能以及对超量训练预测的影响，证明了我们的代理可以在没有任何其他假设的情况下良好地与未见代理协调。

    Mar, 2021

  • 强化学习之旅：从连续控制视角出发

    综述了强化学习的优化和控制方法，重点关注连续控制应用。通过一个最简单和最研究的问题 - 线性二次调节器（LQR）的案例研究，描述了从学习理论和控制理论的融合可以提供 LQR 性能的非渐进特征，并表明这些特征趋向于匹配实验行为。同时，探讨了设计与不确定环境安全可靠交互的学习系统所面临的挑战以及强化学习和控制领域所提供的工具可能如何应对这些挑战。

    Jun, 2018

  • 机器人的持续学习：定义、框架、学习策略、机遇和挑战

    这篇论文介绍了连续学习的概念和机器学习中面临的挑战，提出了在自主体或机器人中使用连续学习以适应环境和优化学习过程的方法，并介绍了现有的基准和度量标准，并提出了一种框架来评估这些方法的有效性。

    Jun, 2019