深度强化学习中的知识转移 (REPAINT)

ICMLNov, 2020

深度强化学习中的知识转移 (REPAINT)

REPAINT: Knowledge Transfer in Deep Reinforcement Learning

Yunzhe Tao, Sahika Genc, Jonathan Chung, Tao Sun, Sunil Mallya

TL;DR本研究提出了一种名为 REPAINT 的深度强化学习知识转移算法，它不仅在 On-policy 学习中传递了预训练模型的表征，还使用基于优势的经验选择方法在 Off-policy 学习中传递了遵循预训练模型收集的有用样本，实验结果表明 REPAINT 在任务相似性较低的一般情况下显著缩短了总训练时间，特别当源任务与目标任务不相似或为子任务时， REPAINT 在减少训练时间和返回分数的渐近性能方面都优于其他基线。

Abstract

Accelerating learning processes for complex tasks by leveraging previously learned tasks has been one of the most challenging problems in reinforcement learning, especially when the similarity between source and target tasks is low. This work proposes REPresentation And INstance Transfer (rep

deep reinforcement learning knowledge transfer task similarity repaint advantage-based experience selection

发现论文，激发创造

强化学习任务状态对应关系的学习，用于知识迁移

该研究提出了一种基于生成对抗网络模型的一对一转移学习方法，旨在解决深度强化学习中新任务的知识重用和泛化问题。

Sep, 2022

强化学习中表征转移的可证明收益

本研究探讨了强化学习中的表征传递问题，提出了一种基于预训练和生成访问的新方法，可以帮助在源任务中发现一个共享表征来快速收敛到一个接近最优策略的目标任务中。

May, 2022

重生强化学习：重复利用过去计算以加速进展

提出转世强化学习理论作为强化学习（RL）研究的另一种工作流程或问题类别，以便能够在设计迭代之间或不同代理之间重复使用或转移先前的计算工作（例如，学习策略）; 研究关注现有子优政府的有效传输，并提出了一种简单的算法来解决其限制，最后，在 Atari 2600 游戏，挑战性的互动任务以及导航平流层气球等问题上展现了转世 RL 与 tabula rasa RL 相比的优势，证明这是一种可能提高 RL 实际应用和进一步民主化 RL 的另一种方法。

Jun, 2022

离线多任务转移强化学习与表示惩罚

我们研究了离线强化学习中的表示转移问题，提出了一种算法来计算学习表示的点态不确定性度量，并通过扩展数据的数据依赖上界证明了针对目标任务的学习策略的次优性。我们的算法利用源任务的集体探索来解决现有离线算法在一些点上覆盖不足的问题，并在需要完全覆盖的富观测马尔可夫决策过程上进行了实证评估，展示了惩罚和量化学习表示中的不确定性的益处。

Feb, 2024

自适应策略转移的高效深度强化学习

本研究提出了一种名为 “Policy Transfer Framework” 的框架，该框架采用多策略转移方式对强化学习中的目标策略进行直接优化，可以很方便地与现有的深度强化学习方法相结合，实验结果表明，该框架明显加速了学习过程，并在离散和连续动作空间中超越了现有的策略转移方法，具有较高的学习效率和最终性能。

Feb, 2020

通过图像翻译实现相关强化学习任务的迁移学习

通过将视觉迁移任务与控制策略分离，使用不对齐的 GANs 对目标到源域的视觉映射，再使用不完美演示的模仿学习进一步改进，提高了 Deep RL 在 Breakout 合成视觉变体和 Road Fighter 的传输行为中的样本效率和迁移能力。

May, 2018

自省行为指导的可解释迁移学习

本篇文章提出了一种基于动作建议的深度强化学习任务之间的迁移学习替代方法，该方法可提高 Gridworld 和 Atari 环境下的收敛速率并提供知识迁移情况的洞见。

Jun, 2023

接触丰富操作中的强化学习知识迁移

本文介绍了一种基于多个技能先验的强化学习方法，通过学习每个任务所需技能的先验分布，并将任务的相似性与先前的任务进行比较，以指导在新任务上学习策略，从而更好地推广到训练中从未遇到的新任务。

Sep, 2022

多任务强化学习的样本复杂度

介绍了一种新的多任务算法用于强化学习任务，该算法显着减少了探索的每个任务的样本复杂性，并保证不会出现负转移，与对应的单任务算法相比具有可比性。

Sep, 2013

一种基于优势的强化学习策略迁移算法及其可迁移性度量

本文提出了一种基于收益的策略转移算法 APT-RL，用于在固定领域环境中的强化学习，通过使用 “优势” 作为正则项，避免了启发式选择算法设计，并提出了一种新的转移性能度量来评估算法的性能并统一现有的转移强化学习框架，实验证明在大多数任务上 APT-RL 的性能优于现有的转移强化学习算法，并且比从零开始学习更加高效。

Nov, 2023