Oct, 2023

多样性应对不确定性：学习多样化行为以实现高效适应和迁移

PDF
TL;DR基于转移学习的强化学习智能体在发现给定任务的所有有用解决方案方面至关重要，以应对任务或转移动力学的变化。我们提出了一种简单的方法来发现给定任务的所有可能解决方案，以获得在转移设置中表现良好并能够快速适应任务或转移动力学变化的智能体。我们的方法迭代地学习一组策略，而每个后续策略都受到所有先前策略下的不太可能解决方案的约束。与以往的方法不同，我们的方法不需要学习额外的新颖性检测模型，并通过直接将约束融入行动选择和优化步骤中，避免了任务和新颖性奖励信号的平衡。
发现论文，激发创造
  • 跨领域适应性的受控行为模式多样性开放式解发现

    通过行为约束训练多样化策略，提高强化学习在不同环境下的泛化能力。

    Sep, 2022

  • 一个解决方案并不足以满足所有需求：基于结构化的最大熵强化学习的少样本外推

    本文提出一种基于多样性推动的强化学习方法，能够学习多种解决任务的行为，从而实现能够适应多变环境和任务的泛化能力，同时，文中理论和实验结果表明，此方法能够产生一个健壮性环境集合。

    Oct, 2020

  • 想象价值梯度：基于模型的策略优化和可转移的潜在动态模型

    本文研究如何通过模型驱动的增强学习方法促进任务转移，提出了基于动作条件的预测模型学习算法，用于机器人操作任务中的策略优化并在转移学习场景中取得了显著的学习速度提升。

    Oct, 2019

  • 使用深度强化学习组合无关任务的策略

    本文介绍了一种基于深度强化学习的技能转移和组合方法，该方法将智能体的原始策略应用到解决未知任务中，并可在高数据效率下解决需要任务规划和动作控制的挑战性环境。

    May, 2019

  • 使用软自我生成指导学习多样化策略

    通过使用多样的过去轨迹作为指导，而不是模仿它们，本文提出了一种方法，使得在线强化学习更快、更高效，即使这些轨迹是次优的或未获得高奖励；此外，引入了一种新的多样性度量来保持团队的多样性和调节探索。在离散和连续控制任务中评估了所提出的算法，与现有的强化学习方法相比，实验结果表明我们提出的算法在多样化探索和避免局部最优方面显著优于基准方法。

    Feb, 2024

  • 通过对策略分布进行建模的迁移学习

    探究并适应新任务在传递学习设置中是强化学习中的一个核心挑战。针对该问题，我们利用在贝叶斯深度强化学习模式下模拟策略分布的想法提出了一种传输策略。我们通过在完全可见的 GridWorld 和部分可见的 MiniGrid 环境中展示有利的实验结果来支持我们的假设。

    Jun, 2019

  • 深度强化学习多样性驱动的探索策略

    本文介绍了一种基于差异性驱动的强化学习探索方法，结合在线和离线强化学习算法，通过向损失函数中添加距离度量，显著提高了代理的探索行为，从而防止局部最优解以及进行了学习进程的自适应缩放方法，实验表明该方法在 Atari 2600 中在多个任务中显著优于基线方法.

    Feb, 2018

  • 多元政策在无回报马尔可夫决策过程中的融合

    通过提供一个统一的多样性强化学习框架并研究多样性政策的收敛性，我们在这篇论文中提出了一个经过证明的有效多样性强化学习算法，并通过数值实验验证了我们方法的有效性。

    Aug, 2023

  • 自适应策略转移的高效深度强化学习

    本研究提出了一种名为 “Policy Transfer Framework” 的框架，该框架采用多策略转移方式对强化学习中的目标策略进行直接优化，可以很方便地与现有的深度强化学习方法相结合，实验结果表明，该框架明显加速了学习过程，并在离散和连续动作空间中超越了现有的策略转移方法，具有较高的学习效率和最终性能。

    Feb, 2020

  • 多智能体强化学习中影响长期行为

    本文提出了一个基于 farsighted objective 的新优化目标以及一种新的多智能体强化学习方法，实现了优于现有基线结果的长期性能。

    Mar, 2022