基于神经密度模型的计数探索

Mar, 2017

Count-Based Exploration with Neural Density Models

Georg Ostrovski, Marc G. Bellemare, Aaron van den Oord, Remi Munos

TL;DR这篇论文研究了在强化学习中，如何使用基于密度模型的伪计数、PixelCNN 等技术进行探索，特别考虑了密度模型对探索的影响，并发现 Monte Carlo 更新在探索中的作用。结果发现结合 PixelCNN 和不同结构的代理可以显著提高在多个难的 Atari 游戏中的性能，当模型假设被违反时，该方法更实用和普适。

Abstract

Bellemare et al. (2016) introduced the notion of a pseudo-count, derived from a density model, to generalize count-based exploration to no

pseudo-count exploration reinforcement learning density model pixelcnn

发现论文，激发创造

统一计数探索和内在动机

使用密度模型衡量不确定性，提出了一种从任意密度模型中导出虚拟计数的新算法，并将其应用于 Atari 2600 游戏中，通过将这些虚拟计数转化为内在奖励，取得了显著的改进。

Jun, 2016

基于状态抽象的近似探索

研究强化学习中探索和近似之间的相互作用，提出一种基于密度建模的方法来改善探索，探讨伪计数奖励在此方法中的应用，发现了在其应用中可能存在的过度或不足探索问题，并提出一种新的伪计数奖励来缓解这些问题。

Aug, 2018

使用翻硬币的方法估计强化学习中的假计数以进行探索

我们在高维状态空间中提出了一种新的基于计数的探索方法，通过平均来自 Rademacher 分布（或硬币翻转）的样本，得到计数，并使用一个简单的监督学习目标进行优化，可以获得状态的访问计数。此方法在 9 个具有挑战性的探索任务中表现优异，并优于现有的方法。

Jun, 2023

强化学习中基于特征空间的计数探索

本文介绍了一种新的计数乐观探索算法，可在高维状态 - 动作空间中使用，并提出了一个新方法来计算泛化状态的访问次数，从而解决了限制训练经验进行广义状态估计的问题。实验表明，该算法在高维 RL 基准测试中取得了接近最新的结果，且计算代价较低。

Jun, 2017

探索：基于计数的深度强化学习探索研究

通过使状态映射到哈希码中并使用哈希表计算它们的出现次数，来提高高维状态空间下的基于计数的探索策略解决 MDP 问题的性能。实验发现，简单的哈希函数和领域相关的学习哈希码都可以大大提高基于计数的探索策略的性能，且在连续控制任务和 Atari 2600 游戏中取得了接近最先进的性能表现。

Nov, 2016

离线强化学习的网格映射伪计数约束

提出了一种用于连续领域的新型基于计数的方法（Grid-Mapping Pseudo-Count method，GPC），通过伪计数约束状态和行动空间的 Q 值，以适当地惩罚 Q 值并降低计算成本，实验结果表明 GPC-SAC 算法在性能和计算成本方面优于其他算法。

Apr, 2024

高维度探索中的聚类和预训练表示方法

该论文采用密度估计问题的视角，研究在强化学习中基于表示的探索方法，提出了在 3D 环境中使用聚类表示进行探索的有效性，并探索了随机表示和预训练 DINO 表示进行聚类计数状态的方法，最终在 VizDoom 和 Habitat 环境中证明了该方法在探索方面优于其他已知方法。

Feb, 2024

基于逐像素密度分布建模的半监督计数

本文提出了一种半监督人群计数模型，通过将像素密度值建模为概率分布，设计了像素密度分布匹配损失、增强变压器解码器以及交错一致性自监督学习机制，并在四个数据集上进行了广泛实验，结果表明该方法明显优于竞争模型。

Feb, 2024

神经密度模型模仿

本文提出了一种新的模仿学习框架（IL），通过对专家占用度量的密度估计，接着使用密度作为奖励进行最大占用度熵强化学习（RL）。我们的方法最大化一个非对抗的无模型 RL 目标，可证明下界为专家和模仿者之间的占用度量的反向 Kullback-Leibler 散度。我们提出了一个实用的 IL 算法，神经密度模仿（NDI），在基准控制任务中获得了最先进的演示效率。

Oct, 2020

解锁表征在长期基于新奇性探索中的力量

本文中介绍了 RECODE （Robust Exploration via Clustering-based Online Density Estimation）方法，该方法是一种基于相似性的聚类计数探索算法，能够有效地跟踪状态出现的次数，并且结合一种新颖的多步预测方法，RECODE 取得了各种挑战性的 3D 环境中最先进的性能，在 Atari 游戏中取得了新的最高记录，并成为首个到达 “Pitfall！” 游戏终点的人工智能代理。

May, 2023