Feb, 2018

多技能动作控制的渐进式蒸馏强化学习

PDF
TL;DR本文研究在连续控制问题中如何将多个专项技能的策略组合在一起，为了解决这个问题作者扩展了策略蒸馏方法并通过模拟双足步态跨越不同类地形的领域中评估了该技术，同时还引入了一种输入注入方法来利用新的输入特征，最后，作者使用迁移学习来协助高效地获得新的技能。作者将自己的逐步学习方法与三种替代基线进行了比较。
deep reinforcement learningpolicy distillationcontinuous controlsimulated bipedal locomotiontransfer learning
发现论文，激发创造
  • 使用策略蒸馏和 Sim2Real 传输在现实中部署的连续强化学习

    研究如何训练一个机器人能够在一个连续的学习情境中解决所有遇到的任务，而不会忘记以前的任务。研究采用强化学习算法，应用于三轮全向机器人的 2D 导航任务，通过状态表征学习和策略蒸馏的方法，提高算法的样本效率与任务综合性能。

    Jun, 2019

  • DisCoRL: 基于策略蒸馏的连续强化学习

    本文提出了 DisCoRL 方法，该方法结合状态表示学习和策略蒸馏来解决多任务强化学习中的挑战，并在三个 2D 导航任务上进行了实验验证。

    Jul, 2019

  • 策略蒸馏

    本文介绍了一种称为 Policy Distillation 的新方法，它可以从强化学习代理中提取策略并训练出一个性能表现优异的、更小而且更高效的网络。同时，这种方法还可以将多个任务特定策略合并为一个策略并应用到 Atari 游戏中，在实验中，这个多任务提炼代理的表现要比单任务老师或联合训练的 DQN 代理更优秀。

    Nov, 2015

  • 策略蒸馏的提炼

    本文探究了深度强化学习中的知识转移工具：策略蒸馏（distillation），比较了各种不同形式并通过理论和实证分析确定了三种最佳蒸馏技术，其中新提出的期望熵正规化蒸馏在广泛的情况下能够保证收敛并加快学习速度。

    Feb, 2019

  • 辅助任务蒸馏的增强学习

    通过辅助任务蒸馏，我们提出了一种增强学习（RL）方法，使其能够通过从辅助 RL 任务中提取行为来解决长期规划的机器人控制问题。AuxDistill 通过并行进行辅助任务的多任务 RL，并通过加权蒸馏损失将这些辅助任务中的行为转移到主任务上，实现了这一目标。我们证明了 AuxDistill 能够从环境奖励中学习一个对挑战性的多阶段物体重新排列任务进行像素到动作策略的学习，无需演示、学习课程或预训练技能。AuxDistill 在 Habitat 物体重新排列基准测试中取得了比之前最先进的基准线高 2.3 倍的成功率，并超过使用预训练技能和专家演示的方法。

    Jun, 2024

  • 基于模型的规划提炼出有理论保证的策略改进

    通过开发一种从基于模型的规划到策略的蒸馏方法，我们扩展了软负责人 - 评论者算法（SAC）的策略改进步骤，并证明了这种方法在改进过程中具有单调性和收敛性的理论保证。

    Jul, 2023

  • 基于强化学习的软体机械手控制器的持续策略蒸馏

    通过引入 Continual Policy Distillation（CPD）框架，该研究介绍了一种实现多功能控制器的方法，以用于四指软抓手对不同形状和大小的物体进行旋转操作的柔性机器人手。该框架利用策略蒸馏（PD）从专家策略向不断发展的学生策略网络传递知识，并集成样本回放方法以增强泛化能力和避免灾难性遗忘。研究结果表明，CPD 框架在整合多个专家知识和实现多功能自适应手部操作任务方面具有较好的性能。

    Apr, 2024

  • 双重策略蒸馏

    本文提出了一种双学习者的框架，名为双重策略蒸馏（DPD），其中两个学习者在同一环境中运行，以探索环境的不同方面并相互提取知识以增强他们的学习，并对几个连续控制任务进行实验，表明该框架可以在没有使用昂贵的教师模型的情况下，在具有学习基础的代理和函数逼近的情况下获得优越的性能。

    Jun, 2020

  • 使用深度强化学习组合无关任务的策略

    本文介绍了一种基于深度强化学习的技能转移和组合方法，该方法将智能体的原始策略应用到解决未知任务中，并可在高数据效率下解决需要任务规划和动作控制的挑战性环境。

    May, 2019

  • Distral: 强大的多任务强化学习

    该研究提出了 Distral 方法，在多任务学习中共享被压缩策略，该方法的优点是通过压缩来捕捉共性行为，从而实现数据效率的提高和更稳定的学习。

    Jul, 2017