May, 2024

元强化学习的理论分析：泛化界限与收敛保证

HTML
PDF
TL;DR这项研究探索了元强化学习（Meta RL），通过对定义泛化限制和确保收敛的深入研究。通过采用一种创新的理论框架，评估了Meta RL算法的有效性和性能。研究分析了影响Meta RL适应性的因素，揭示了算法设计与任务复杂性之间的关系。此外，我们根据已经证明的条件确保Meta RL策略收敛于解决方案。该研究全面了解了Meta RL算法在各种情况下的收敛行为，从而深入探究了其长期性能的驱动力，包括收敛和实时效率，提供了对这些算法的能力的透视。
发现论文，激发创造
  • 强化学习学习

    本文提出了一种名为深度元强化学习的方法，该方法使用递归网络，在一个强化学习算法上进行训练，但其递归动态实现第二个、完全分离的强化学习过程，通过一系列七个验验证明了这种方法的潜在优势并提出了其可能引发的神经科学方面的重要影响。

    Nov, 2016

  • ProMP: 近端元策略搜索

    本文研究Meta-reinforcement learning中信用分配的理论分析，提出了一种新的元学习算法，通过控制先适应和适应策略的统计距离，实现了高效和稳定的元学习。该方法导致出色的先适应策略行为，并在样本效率，墙钟时间和渐近性能方面始终优于以前的Meta-RL算法。

    Oct, 2018

  • 视觉元强化学习中泛化问题简述

    该论文评估了特别设计用于泛化的算法——元强化学习算法的泛化性能，发现在挑战性任务上，这些算法仍然存在严重的过拟合和扩展性问题，强调需要开发既能泛化又能扩展的元强化学习算法。

    Jun, 2020

  • 微调与元强化学习的有效性比较

    本文研究使用 meta-强化学习方法来完成多个视觉基准测试，在评估这些方法时，我们发现在不同的任务上，多任务预训练加微调的性能相当甚至更好，这与使用meta-pretraining和meta test-time adaptation的表现相当。因此我们建议在未来的meta-RL中加入更具挑战性的任务以及多任务预训练和微调作为更简单，强大的基线。

    Jun, 2022

  • 有限训练任务下的元强化学习——一种密度估计方法

    本研究探讨使用密度估计技术，直接学习任务分布并在其上训练策略以最大化回报，从而实现元强化学习的有效性问题，结果表明，与基于历史策略的学习方法相比，我们的方法具有更好的效果，特别是在任务分布存在低维流形的情况下。

    Jun, 2022

  • 元元强化学习个性化策略的收敛理论

    该论文提出了一种个性化元强化学习算法(pMeta-RL)，旨在解决元强化学习中的梯度冲突问题，该算法将任务特定的个性化策略汇总以更新用于所有任务的元策略，同时保持个性化策略以最大化每个任务的平均回报。该算法在离散和连续控制任务中的实验表明，优于其他以往的Meta-RL算法。

    Sep, 2022

  • 分布自适应元强化学习

    本研究提出了一种元强化学习算法的框架，该框架可以适应于测试时间任务分布变化，以提高在分布转移下的领域中的适应能力和性能。

    Oct, 2022

  • RL$^3$: 通过 RL 内外的 RL$^2$ 提升元强化学习

    本文提出了一种RL$^3$算法，该算法将Task-specific action-values作为Traditional RL学到的输入，并通过将Traditional RL和Meta-RL组合来在Long-horizon和Out-of-distribution任务中获得更高的累积回报。

    Jun, 2023

  • MAMBA: 一种适用于元强化学习的有效世界模型方法

    基于现有先进模型和元学习方法，本文提出了一种新的基于模型的元强化学习方法，通过实验证明了我们方法在常见元强化学习基准领域上能够获得更高的回报，并且具有更好的样本利用效率（高达15倍），同时需要很少的超参数调整。此外，我们还在更具挑战性的、高维领域验证了我们的方法，为实现真实世界中的泛化智能体迈出了一步。

    Mar, 2024

  • 数据采样的记忆序列长度对元强化学习智能体的适应性的影响

    研究表明，对元强化学习代理的数据抽样策略，如长记忆和短记忆序列抽样策略，对其在未知环境中的表示和适应能力有着重要影响。基于贝叶斯最优理论的算法比基于汤普森抽样的算法表现出更强的适应性和鲁棒性，突出了适当的数据抽样策略在代理程序对于未知环境表示中的重要性，尤其是在稀疏奖励的情况下。

    Jun, 2024