随机潜在演员 - 评论家：具有潜在变量模型的深度强化学习

Jul, 2019

随机潜在演员 - 评论家：具有潜在变量模型的深度强化学习

Stochastic Latent Actor-Critic: Deep Reinforcement Learning with a Latent Variable Model

Alex X. Lee, Anusha Nagabandi, Pieter Abbeel, Sergey Levine

TL;DR本文介绍了一种基于深度强化学习的算法，通过学习潜在表示来加速图像的强化学习，提出了随机潜在 Actor-Critic（SLAC）算法，并表明其在图像控制任务上的表现优于其他无模型或基于模型的替代方案。

Abstract

deep reinforcement learning (RL) algorithms can use high-capacity deep networks to learn directly from image observations. However, these high-dimensional observation spaces present a number of challenges in prac

deep reinforcement learning rl algorithms image observations latent representations stochastic sequential models

发现论文，激发创造

利用随机潜在表示从像素学习安全强化学习

本文提出了一种基于像素观察安全的强化学习方法，在部分可观察的马尔可夫决策过程框架下，使用一种新颖的安全评估方法来训练安全策略，使用基准数据证明了其相对于现有方法具有竞争性的性能和满足安全约束条件。

Oct, 2022

证明收敛性的有约束深度演员 - 评论家单循环算法学习强化学习

本文提出了一种针对现实问题中非凸随机约束并高成本与环境交互的一次迭代式深度演员 - 评论家算法框架，并使用约束随机连续逼近方法来处理非凸随机目标和约束。

Jun, 2023

通过强化学习控制 GAN 的潜在空间：基于任务的图像到图像翻译案例研究

通过将强化学习（RL）代理与潜在空间生成对抗网络（l-GAN）相结合，我们提出了一种新的方法来解决 GAN 生成过程中控制的挑战。我们开发了一个具备精心设计的奖励策略的 actor-critic RL 代理，使其能够在 l-GAN 的潜在空间中导航并根据指定任务生成输出，通过使用 MNIST 数据集进行了一系列实验证明了我们方法的有效性。我们首次将 RL 代理与 GAN 模型集成，具有极大的潜力来增强生成网络。

Jul, 2023

采用潜空间模型的基于图像的离线强化学习

该研究提出了一种基于模型的离线 RL 算法，该算法可扩展应用于高维视觉观测空间，通过学习潜在状态动力学模型并在潜在空间中表示不确定性来克服图像观测的挑战，并在多项具有挑战性的基于图像的移动和操纵任务中取得了优异的表现。

Dec, 2020

强化学习的潜在变量表示

本文提出了一种基于深度潜变量模型的策略学习框架，在理论上和实践中检验了潜变量模型在优化强化学习中发挥的作用，同时提出了一种计算高效的规划算法，并在多个基准测试中证明了其优越性能。

Dec, 2022

为数据高效强化学习学习具有时间一致性的表示

本研究提出了一种名为 KSL 的新的表示学习方法，通过自我监督辅助任务，强制执行表示的时间一致性，其中代理程序学习以动作为条件的状态空间表示的经常性预测。KSL 学习到的状态编码器生成低维表示，可以使 RL 任务的优化更具样本效率，并在 PlaNet 基准测试套件中产生最先进的数据效率和渐近性能结果。

Oct, 2021

提高基于图像的模型自由强化学习的样本效率

通过引入辅助损失以及消除后效性的影响，提出了一种简单且有效的方法，可以在 MuJoCo 控制任务上匹配最新的无模型和有模型算法，同时在观测噪声下表现出鲁棒性，并且过来了以往使用变分自动编码器所面临的发散问题。

Oct, 2019

具有连续潜在动力的丰富观测强化学习

針對連續環境中高維感知輸入的強化學習算法的樣本效率和可靠性問題，本研究提出了一種新的理論框架 RichCLD（基於豐富觀測的連續潛在動力學強化學習），其中代理基於高維觀測進行控制，但環境卻由低維潛在狀態和 Lipschitz 連續動力學所控制。我們的主要貢獻是提出了一種新的算法，可以在統計和計算效率方面獲得證明。我們的算法的核心是一個新的表示學習目標；我們表明，適用於離散動力學的先前表示學習方案不自然地擴展到連續環境。我們的新目標易於實施，實驗結果顯示它在標准評估協議中相比先前方案具有競爭優勢。此外，我們對 RichCLD 框架的統計複雜性提供了一些見解，特別是證明了在豐富觀測缺失情況下的樣本效率學習所需的某些 Lipschitz 性質在豐富觀測情況下是不夠的。

May, 2024

潜在状态边际化：改善探索的低成本方法

本文介绍了一种称为 SMAC 的算法，它使用最大熵强化学习框架中的潜在变量策略来提高探索和稳健性能力，并在连续控制任务上进行实验验证。

Oct, 2022

技能批评家：为强化学习优化学得技能

利用 Skill-Critic 算法，结合高层技能选择来优化低级和高级策略，通过离线演示数据学习到的潜在空间来指导联合策略优化，提高在多个稀疏环境中的决策性能。

Jun, 2023