样本高效强化学习的动态抽象表示学习

Oct, 2022

样本高效强化学习的动态抽象表示学习

Learning Dynamic Abstract Representations for Sample-Efficient Reinforcement Learning

Mehdi Dadvar, Rashmeet Kaur Nayyar, Siddharth Srivastava

TL;DR本文介绍了一种新的从上至下的方法，用于在执行强化学习的同时构建状态抽象，动态计算一个基于 Q 值分散的抽象，结果表明，这种方法自动学习细调问题的抽象，具有较强的样本效率，并使强化学习代理明显优于现有方法。

Abstract

In many real-world problems, the learning agent needs to learn a problem's abstractions and solution simultaneously. However, most such abstractions need to be designed and refined by hand for different problems and domains of application. This paper presents a novel top-down approach

reinforcement learning state abstractions top-down approach domain-independent sample efficiency

发现论文，激发创造

强化学习中的抽象理论

本文介绍了强化学习中抽象的理论，提供了符合需求的抽象函数的要求，并介绍了一组新算法和分析，旨在最大程度地减少有效强化学习的复杂性。

Mar, 2022

深度强化学习的马尔可夫状态抽象学习

该研究提出了一种学习马尔科夫状态抽象表示的新方法，结合逆向模型估计和时态对比学习，可以提高强化学习中的样本效率。

Jun, 2021

抽象表征下的联合强化学习

本文提出一种新的方法，通过共享基于低维学习的环境编码来明确地连接无模型和有模型的强化学习方法，该方法能够捕捉到总结性抽象，同时具有模块化的特点，因此具有良好的泛化能力和计算效率，并在较小的潜在状态空间中进行计划。此外，此方法还能恢复足够低维的环境表示，从而为可解释的人工智能、探索和迁移学习开辟了新的策略。

Sep, 2018

符号问题上通用强化学习的关系抽象

本文介绍了一种新的强化学习方法，利用关系抽象和深度学习，学习符号状态空间中可推广的 Q 函数，并能在零阶转移下转移到不同的相关问题，实现对大规模问题的有效知识迁移。

Apr, 2022

连续控制中的状态抽象学习与迁移

使用简单的算法和良好的表示能否解决困难的强化学习问题？本文回答了这个问题，并提出了一种将连续状态空间抽象为离散的学习算法，将其转移到未知问题中以实现有效的学习，并证明学习到的抽象保持有界的值损失，实验证明该抽象使 tabular Q-Learning 在未知任务中有效学习。

Feb, 2020

具有潜在动态信息的可证明样本效率强化学习

本文研究了在观测结果高维的情况下，强化学习智能体如何使用对状态空间结构的抽象知识来学习目标领域中的任务。提出了一种名为 TASID 的算法，该算法学习目标任务的健壮策略，其采样复杂度是地平线次数的多项式，并且可以利用先前的知识独立于状态数。

May, 2022

高效稳定的多步稀疏奖励强化学习的抽象演示和自适应探索

本文提出了一种 DRL 探索技术 A^2，通过将复杂任务分解成子任务、提供正确的子任务顺序以及自适应探索环境的方式，改善了学习效率，实验表明在多个任务中，A^2 有助于 DQN、DDPG 和 SAC 等普通 DRL 算法在这些环境中更高效、更稳定地学习。

Jul, 2022

学习用于规划的抽象且可迁移的表示

该论文提出了一个框架来自我学习代理环境的状态抽象，这些抽象是任务无关的可重用的，从而显著提高了学习效率和代理任务解决的能力。

May, 2022

循环强化学习：一种混合方法

本文研究了一种深度学习方法，将强化学习和监督学习结合，通过长短时记忆网络对隐藏状态的表示进行学习，在部分可观测任务中表现出了很好的性能。

Sep, 2015

深度强化学习中奖励机制抽象的上下文预规划，以增强迁移能力

为解决深度强化学习代理在任务转移中的过度拟合问题和对现实环境的适应性差的问题，提出一种基于奖励机器的任务表示方法，使用抽象状态图与任务奖励动态的相互作用诱导子任务，从而实现在不同任务间的知识共享和过程优化的目标。经实验测试表明，该方法在各个领域中提高了样本效率和少量训练次数下的转移性能。

Jul, 2023