面对对手的目标条件强化学习

Nov, 2022

Goal-Conditioned Reinforcement Learning in the Presence of an Adversary

Carlos Purves, Pietro Liò, Cătălina Cangea

TL;DR介绍了在存在对手的目标条件学习中，使用 DigitFlip 和 CLEVR-Play 两个新的目标条件环境，提出了用于目标条件学习的 EHER 和 CHER 两种算法，并评估了它们的性能，最终介绍了 IGOAL：一种新的目标条件学习框架。实验结果表明，将 IGOAL 与 EHER 相结合可以显著地超过现有方法，在对抗随机和能力对手时表现更好。

Abstract

reinforcement learning has seen increasing applications in real-world contexts over the past few years. However, physical environments are often imperfect and policies that perform well in simulation might not achieve the same performance when applied elsewhere. A common approach to co

reinforcement learning adversarial training goal-conditioned learning digitflip igoal

发现论文，激发创造

强韧性对抗性强化学习

提出了一种稳健性的敌对训练 (robust adversarial reinforcement learning, RARL) 方法，该方法将敌对训练与零和极小优化相结合，通过训练一个智能体，使其能够在真实系统上的杂乱因素和不确定性下操作，并在多种环境中进行了验证。

Mar, 2017

高效对抗引导的强化学习鲁棒性优化

本研究引入了群体对抗训练方法以增强强化学习代理的鲁棒性和优化性能，通过在最优解决方案的近似嵌套和更加普适性的选取方式进行了验证。

Jun, 2023

目标导向强化学习：问题与解决方案

本文综述了目标条件强化学习的挑战、算法、目标表示以及未来研究方向。

Jan, 2022

通过竞争监管：为学习任务创建机器人对手

本文介绍了一个使用对抗学习进行机器人控制和规划的新框架，展示了该方法能够更好地训练机器人抓取模型并比合作式多机器人更加有效。

Oct, 2016

风险厌恶稳健对抗强化学习

本文提出了一种风险规避的强化学习算法，通过引入风险规避主角和风险趋避对手的方式，使用价值函数方差来建模风险，避免极端不良事件的发生，该算法在自动驾驶控制器上的实验中证明具有较高的鲁棒性。

Mar, 2019

目标驱动的模仿学习

通过整合演示（demonstrations）的方法，本研究探讨如何加速强化学习的收敛速度，以达到能够到达任何目标的策略，并且在与其他模仿学习算法训练的代理相比表现更好。

Jun, 2019

对比学习作为目标条件强化学习

本文提出了基于对比学习的强化学习算法，通过学习动作标记的轨迹对比学习来直接获得好的表示，并成功地将其应用于目标条件 RL 任务。在一系列任务中，对比 RL 方法表现更好，且不需要使用数据增强或辅助目标。

Jun, 2022

使用对抗训练提高强化学习在电力系统控制中的鲁棒性

本文针对电网控制系统的弱点进行研究，发现现有的强化学习算法存在敏感性，容易受到恶意攻击，提出了一种基于对抗训练的解决方案，以增强算法的安全性和鲁棒性。

Oct, 2021

透过事后目标生成进行探索

本文介绍了一种基于目标导向的强化学习新算法框架 Hindsight Goal Generation，该框架通过生成有助于智能体在短期内实现的前瞻性目标以指导其在长期内实现实际目标的路径，以显著提高采样效率和处理奖励稀疏性问题。在多项机器人操作任务中，实验证明了该算法的有效性和优越性。

Jun, 2019

通过对抗强化学习提高自动驾驶车辆控制的稳健性和安全性

该研究比较了 Robust Adversarial Reinforcement Learning 和 Neural Fictitious Self Play 算法在自动驾驶场景下的性能表现，将学习问题定义为自主系统与环境干扰之间的两人博弈，扩展为半竞争的情况，结果表明对手更好地捕捉了有意义的干扰，从而产生了更好的驾驶效率和减少了与传统强化学习方法相比的碰撞率。

Mar, 2019