利用离散表示进行连续强化学习

ICLRDec, 2023

Harnessing Discrete Representations For Continual Reinforcement Learning

Edan Meyer, Marlos C. Machado, Adam White

TL;DR通过对离散表示法进行彻底的实证研究，我们发现，与传统连续表示法相比，在世界模型学习、无模型强化学习和连续强化学习问题中，将观测数据表示为分类值向量能更准确地模拟世界，并且使用离散表示法训练的智能体能够更好地学习策略和使用更少的数据，在连续强化学习中表现出更快的适应性。此外，我们的分析表明，性能改进可能归因于潜在向量中包含的信息和离散表示本身的编码方式。

Abstract

reinforcement learning (RL) agents make decisions using nothing but observations from the environment, and consequently, heavily rely on the representations of those observations. Though some recent breakthroughs have used vector-based categorical representations of observations, often

reinforcement learning discrete representations world models continual rl latent vectors

发现论文，激发创造

强化学习中的局部约束表达

本文提出一种局部约束表示法，通过对环境观测状态的预测及邻近状态的表示作为辅助损失，将强化学习中的表示与任务相分离，可以提高泛化能力，有效应用于连续控制任务中。

Sep, 2022

针对连续动作空间的表示学习有助于有效的策略学习

本文提出了一种在潜在状态和动作空间中进行高效策略学习的方法，扩展了状态表示以达到更好的策略泛化能力，同时通过将整个学习任务划分为无监督学习和强化学习来减小了训练规模。最后，在 MountainCar、CarRacing 和 Cheetah 实验中证明了该方法的有效性。

Nov, 2022

表示抽象作为强化学习智能体的激励机制：一个机器人抓取的案例研究

选择适当的环境表示对于强化学习代理的决策过程并不总是直观的，本研究考察了不同状态表示对于激励代理解决机器人任务的影响，结果显示使用数字状态的强化学习代理与非学习基线表现相当，而使用经过预训练环境嵌入向量的图像表示的代理表现更好，推测任务特定的知识对于实现收敛和高成功率的机器人控制是必要的。

Sep, 2023

利用目标条件策略学习可操作表示

本文研究功能性显著表征的强化学习方法，可以用于改善稀疏奖励问题的探索、实现具有长期视野的分层强化学习和作为下游任务的学习策略的状态表征。通过在多个虚拟环境中对比实验，表明该方法在表征学习、探索和分层强化学习方面具有优势。

Nov, 2018

强化学习的动作表示学习

研究了在没有给定先验结构的情况下，如何基于状态表示和行为表示实现模型无关的强化学习方法，并提供了相应的算法和收敛条件。

Feb, 2019

表征至关重要：提高机器人感知和探索能力

本文在三个机器人任务中系统评估了多种常见的学习和手工工程化表示方法，并从三个方面对每种表现方法进行评估，即维度，可观测性和分离度，发现在输入代理或作为辅助任务的情况下，可以显著提高性能，并挑战了什么是控制机器人 ' 好' 表示的见解。

Nov, 2020

高效基于实体的强化学习

本文介绍了通过将最近的集合表示形式与图神经网络和槽注意方法相结合来处理结构化数据，从而拓宽深度强化学习算法的应用范围，改善训练时间和鲁棒性，并且证明这种方法可以在多种环境下处理结构化和视觉领域的问题。

Jun, 2022

使用矢量量化编码的深度强化学习

该研究提出了一种名为向量量化的强化学习插件框架，基于向量量化编码的辅助分类任务将状态特征聚类，以提高深度强化学习方法的可解释性，并引入了两种正则化方法以帮助增加聚类之间的区分度和避免 VQ 训练所涉及的风险，该方法在模拟中证明了其提高了可解释性，并研究了其对深度 RL 鲁棒性和泛化能力的影响。

Nov, 2022

通过解耦环境和代理的表示实现高效强化学习

提出了一种利用机器代理的视觉知识学习结构化表示的强化学习算法，并通过辅助损失函数将其融入强化学习目标，在包括 5 种不同机器人的 18 个具有挑战性的可视化仿真环境中，我们的方法比现有的无模型方法表现更好。

Sep, 2023

基于表示的强化学习

提出了一个基于表示的强化学习框架，使用来自上下文强化学习的技术来指导探索和利用。通过在线性特征空间中嵌入策略网络，将勘探利用问题转化为表示利用问题，这样好的策略表示能够实现最佳勘探。通过应用于进化和策略梯度方法，本框架比传统方法具有显著提高的性能。该框架提供了关于强化学习的新视角，突出了策略表示在确定最佳勘探利用策略方面的重要性。

May, 2023