一种非情节式强化学习的状态分布匹配方法

May, 2022

一种非情节式强化学习的状态分布匹配方法

A State-Distribution Matching Approach to Non-Episodic Reinforcement Learning

Archit Sharma, Rehaan Ahmad, Chelsea Finn

TL;DR提出一种名为 MEDAL 的新方法，它将反向策略训练成与提供的演示中的状态分布匹配，以使代理保持接近与任务相关的状态，从而为前向策略提供易于和困难的起始状态，而且在连续控制任务上匹配或优于先前的方法，同时做出比以前更少的假设。

Abstract

While reinforcement learning (RL) provides a framework for learning through trial and error, translating RL algorithms into the real world has remained challenging. A major hurdle to real-world application arises

reinforcement learning real-world embodied agents backward policy continuous control tasks

发现论文，激发创造

通过矩匹配实现分布式强化学习

本文提出了一种无限制统计学习方法，利用神经网络和最大均值偏差技术来匹配收益分布和 Bellman 目标，适用于分布式 RL 并在 Atari 游戏中获得了优异表现。

Jul, 2020

扩展状态奖励空间的情节强化学习

通过引入扩展状态 - 奖励空间的高效 EC-based DRL 框架，我们的方法能够同时充分利用检索信息和通过时序差分 (TD) 损失更好地评估状态值，从而在具有挑战性的任务中表现出优越性。

Jan, 2024

情节性强化学习的稳态分析

本文证明了每个有限时间决策任务的情节学习环境在任何行为策略下都有一个独特的稳态，并且代理输入的边缘分布在几乎所有情节学习过程中确实会收敛到稳态分布。此观察支持一种反转常规智慧的思维方式。基于这个观察，本文围绕着几个重要的概念统一了情节式和持续式强化学习，并提出并验证了一种有助于在现实 RL 任务中实现快速稳态收敛的扰动方法。

Nov, 2020

你只能活一次：单生强化学习

该研究提出了一种称为单次生命强化学习（SLRL）的新问题设置，探讨了在未知状态下如何适应的挑战，并使用 Q-weighted adversarial learning （QWALE）算法来应对这一挑战，该算法通过先前的经验来指导在新情况下的决策，实验结果表明优于现有方法 20-60%。

Oct, 2022

强化学习增强的对比模型用于顺序推荐

通过提出一种名为模型增强对比强化学习（MCRL）的新型强化学习推荐器，我们解决了离线数据集的稀疏性以及负反馈无法获取的问题，并通过对比学习来优化奖励函数和状态转移函数，实验结果表明该方法在两个现实世界数据集上显著优于现有的离线强化学习和自监督强化学习方法。

Oct, 2023

解决持续任务强化学习中无界状态空间问题

本篇论文探讨了深度加强学习算法在面对状态空间无法预测，强烈依赖于重置时的困境。通过引入 Lyapunov 启发式奖励塑造方法，策略学习可以更快、更稳定地收敛到最优解

Jun, 2023

循环强化学习：一种混合方法

本文研究了一种深度学习方法，将强化学习和监督学习结合，通过长短时记忆网络对隐藏状态的表示进行学习，在部分可观测任务中表现出了很好的性能。

Sep, 2015

基于状态边际匹配的逆强化学习

本文提出了一种基于 f-divergence 的算法 f-IRL，通过学习奖励函数来匹配专家状态分布以优化控制任务的样本效率和行为迁移能力，并在各种 IRL 基准测试中超越了对手仿真学习方法。

Nov, 2020

生态学强化学习

本文讨论了针对非情节式、奖励稀疏的强化学习任务中的环境特性，如何应用 “环境塑形” 和 “环境动态性” 等方法来提升学习效果，并通过实验验证了这些方法的有效性。

Jun, 2020

回放：必须不停地倒转

提高样本效率是模型自由强化学习中的一个挑战，本文提出了一种名为 Backplay 的方法，利用单个演示构建任务的课程并以该演示的末端为起点进行训练，最终在可竞争方法中优化训练速度。

Jul, 2018