一种基于优势的强化学习策略迁移算法及其可迁移性度量

Nov, 2023

一种基于优势的强化学习策略迁移算法及其可迁移性度量

An advantage based policy transfer algorithm for reinforcement learning with metrics of transferability

Md Ferdous Alam, Parinaz Naghizadeh, David Hoelzle

TL;DR本文提出了一种基于收益的策略转移算法 APT-RL，用于在固定领域环境中的强化学习，通过使用 “优势” 作为正则项，避免了启发式选择算法设计，并提出了一种新的转移性能度量来评估算法的性能并统一现有的转移强化学习框架，实验证明在大多数任务上 APT-RL 的性能优于现有的转移强化学习算法，并且比从零开始学习更加高效。

Abstract

reinforcement learning (RL) can enable sequential decision-making in complex and high-dimensional environments if the acquisition of a new state-action pair is efficient, i.e., when interaction with the environment is inexpensive. However, there are a myriad of real-world applications

reinforcement learning transfer rl algorithms off-policy advantage-based policy transfer task similarity measurement algorithm

发现论文，激发创造

自适应策略转移的高效深度强化学习

本研究提出了一种名为 “Policy Transfer Framework” 的框架，该框架采用多策略转移方式对强化学习中的目标策略进行直接优化，可以很方便地与现有的深度强化学习方法相结合，实验结果表明，该框架明显加速了学习过程，并在离散和连续动作空间中超越了现有的策略转移方法，具有较高的学习效率和最终性能。

Feb, 2020

AdaRL：迁移强化学习中的适应什么、在哪里和如何适应

提出了一种基于图表示学习的 RL 适应策略 AdaRL，只需少量样本即可可靠且高效地适应环境变化，结果表明 AdaRL 在 Cartpole 和 Atari 游戏中的表现良好。

Jul, 2021

面向参数变化系统的模型自适应强化学习控制中的样本高效迁移

本文利用模型控制的思想解决了强化学习算法的样本效率问题，并通过四个基准实例验证了其性能。

May, 2023

强化学习中的单集策略转移

为了实现在只进行一次尝试的测试时间内进行最优化，特别是在没有对丰富奖励的访问权下，我们提出了一种通用算法，该算法通过优化探针和推理模型来快速估计测试动态的潜在变量，然后立即将其用作通用控制策略的输入。这种模块化方法可以集成最先进的变分推理算法或强化学习算法，并且不需要在测试时间访问奖励，可以在现有的自适应方法无法适应的设置中执行，是一种优秀的迁移方式。

Oct, 2019

一种最优的在线强化学习源策略选择方法

本文提出了一种在线多臂赌博机方法并结合 Q-learning 算法实现源策略的选择，证明了其最优选择过程和收敛到最优策略的理论保证，同时通过与最先进的传递学习方法在机器人导航领域上的实验比较，证明了其高效性和鲁棒性。

Sep, 2017

基于偏好成本学习的任务转移

本文提出了一个新的任务转移框架，通过专家偏好作为指导，无需明确的成本函数，随着增强的 Adversarial MaxEnt IRL，学习目标代价函数和轨迹分布，并通过选择结果生成更多的轨迹，实验证明了该方法的效果。

May, 2018

具有理论保证的多智能体策略互惠

本文提出了一种新的多智能体策略互惠（PR）框架，其中每个智能体可以在不匹配的状态下充分利用跨智能体策略，并定义了一个不匹配状态的邻接空间并设计一个即插即用模块的值迭代，以提高 PR 的可扩展性和稳定性，实验证明 PR 在离散和连续环境中优于现有的各种 RL 和转移 RL 方法。

Apr, 2023

通过正则化逆强化学习实现奖励可转移性

逆强化学习旨在从专家示范中推断出奖励，但奖励与最优策略不唯一，本文提出主角度作为衡量转移规律相似性和差异性的更精细度量，建立了两个关键结果：1）当学习来自至少两个转移规律明显不同的专家时，对任何转移规律的可转移性提供了足够条件；2）当从单个专家学习时，对转移规律的局部变化的可转移性提供了足够条件，并提供了概率近似正确（PAC）算法和端到端分析，用于从多个专家的示范中学习可转移的奖励。

Jun, 2024

重新思考对抗性逆强化学习：从策略模仿和可转移奖励恢复的角度

在这篇研究论文中，我们重新思考了对抗性逆向强化学习 (AIRL) 的两个不同方面：策略模仿和可转移奖励恢复。我们使用软 actor-critic (SAC) 在策略优化过程中替代了 AIRL 中的内置算法，以增强样本效率，并且可识别 AIRL 相对于 SAC 具有马尔可夫决策过程 (MDP) 模型。这确实显着提高了策略模仿，但不幸的是对可转移奖励恢复带来了一些不利影响。为了解决这个问题，我们指出 SAC 算法本身无法在 AIRL 训练过程中全面解藕奖励函数，并且提出了一个混合框架 PPO-AIRL + SAC，以实现满意的转移效果。此外，我们还从代数理论的角度分析了环境从中提取解藕奖励的能力。

Mar, 2024

IOB：集成优化迁移和行为迁移用于多策略重用

通过在 actor-critic 框架中利用 Q 函数来引导策略选择，我们提出了一种基于优化传递和行为传递的新型迁移 RL 方法，将学习的策略规范化为模仿引导策略并将它们组合成行为策略，从而显著增强了迁移效果，在基准任务中超越了最新的迁移 RL 基线，改进了连续学习场景中的最终性能和知识可迁移性，另外，我们证明了我们的优化传递技术可以保证提高目标策略的学习。

Aug, 2023