Feb, 2024

苏格拉底的怀疑回声：在校准的证据强化学习中拥抱不确定性

HTML
PDF
TL;DR我们提出了一种新颖的统计方法，用于在无模型分布式强化学习中纳入不确定性感知，它涉及基于分位回归的深度 Q 网络。该算法称为 CEQR-DQN（Calibrated Evidential Quantile Regression in Deep Q Networks），旨在解决在随机环境中分别估计偶然性和认识性不确定性所面临的关键挑战。它将深度证据学习与基于符合推理原则的分位校准相结合，提供明确的、无需样本的全局不确定性计算，而不是基于简单差异的局部估计，从而克服了传统方法在计算和统计效率以及处理超出分布范围观察的局限性。用于一套小型 Atari 游戏（即 MinAtar）的测试中，CEQR-DQN 在得分和学习速度方面超越了类似的现有框架。它对严格评估不确定性的能力改进了探索策略，并可作为其他需要不确定性感知的算法的蓝图。
发现论文，激发创造
  • 通过贝叶斯深度Q网络实现高效探索

    这篇论文研究了高维情境下的强化学习，提出了两种基于乐观法和后验采样的算法来解决此问题，并扩展了该方法应用在深度强化学习上，所提出的贝叶斯深度Q网络通过采用贝叶斯线性回归的方法调整Q-networks的学习方式，使其能够充分平衡探索与执行间的权衡，更加有效地应用在Atari游戏中。

    Feb, 2018

  • 深度学习中的单模型不确定性

    本文提出了一种基于深度神经网络单模型的aleatoric和epistemic不确定性估计方法，分别为Simultaneous Quantile Regression（SQR）和Orthonormal Certificates（OCs），这些方法无需集成或重新训练深层模型就能达到竞争性能。

    Nov, 2018

  • 深度强化学习中的风险和不确定性估计

    提出了一个框架，通过学习的 Q 值来区分和估计强化学习中源于有限数据的认识不确定性和源于随机环境的aleatoric不确定性，并引入一种考虑不确定性的 DQN 算法，该算法表现出安全的学习行为，并在 MinAtar 测试中表现出优越性能。

    May, 2019

  • 基于Quantile回归的分布式强化学习的Cramér距离视角

    本文研究分布强化学习中的分位回归，证明Cram´er距离得到的投影与1-Wasserstein距离的投影相同，并提出了一种低复杂度算法来计算Cram´er距离，在非交叉限制下，squared Cram´er和分位回归损失具有共线性，从而揭示了分布强化学习中相关要素之间的联系。

    Oct, 2021

  • 需要一些监管：通过认知不确定性指标在强化学习中融入 Oracle 政策

    本文提出并应用一种度量Q-值函数中认知不确定性的度量标准，称为路径认知不确定性，并开发了一种计算其近似上限的方法F-值。我们在Deep Q-Networks (DQN)中实验性地应用其来表明在强化学习中的不确定性估计是学习进展的有用指标，并提出了基于CritiC的置信度引导探索（CCGE）的新方法，以在不确定性高时从现有（之前学习或预先编码）的oracle策略中学习，以避免训练期间无效的随机动作。然后我们应用该方法到Soft Actor-Critic(SAC)，并在几个常见的Gym环境中表明它比普通SAC表现更好。

    Aug, 2022

  • 查询智能体：通过认知不确定性估计提高样本利用效率

    本研究提出了一种名为“Query The Agent(QTA)”的新算法，它通过在状态空间中估计代理的认识不确定性并在高度不确定的区域中设定目标来显著提高样本效率。 QTA利用一种名为“Predictive Uncertainty Networks（PUN）”的新技术来估计认知不确定性，以便在所有先前观察到的状态下对代理的不确定性进行评估。我们证明QTA相对于现有方法具有决定性的样本效率提高。

    Oct, 2022

  • 基于模型的价值函数不确定性

    在模型基强化学习中，我们考虑了如何量化累积奖励的不确定性，并提出了一种新的不确定Bellman方程来弥补现有工作的不足，该方法能够更准确地告诉我们此前探索的不足。实验表明，这种更精确的不确定性估计方法能够提高样本效率。

    Feb, 2023

  • 深层证据学习用于贝叶斯分位数回归

    该论文提出了一种基于证据学习的深度贝叶斯分位回归模型，能够在没有高斯分布假设的情况下估计连续目标分布的分位数，同时捕捉不确定性和提高模型的可计算性和可扩展性。

    Aug, 2023

  • 统一的不确定性感知探索：结合认知和随机不确定性

    我们提出了一种基于分布式强化学习的算法，通过估计参数化回报分布来统一估计aleatory和epistemic不确定性，并量化两种不确定性的综合效应以实现风险敏感的勘探。实证结果表明，我们的方法在具有勘探和风险挑战的任务中优于替代方法。

    Jan, 2024

  • 利用最大均值差异质心在强化学习中传播价值函数的不确定性

    基于不确定性的价值函数计算能够提升强化学习中的探索性能。本文引入了最大均值差异Q-Learning(MMD-QL)来改进Wasserstein Q-Learning(WQL)以在时序差分更新中传播不确定性。MMD-QL利用MMD质心来实现这一目的，因为MMD提供了比Wasserstein距离更紧密的概率测度接近估计。首先，我们建立了在平均损失度量下MMD-QL在MDP(PAC-MDP)中几乎是正确的。关于累积奖励，在表格环境下进行的实验表明，MMD-QL优于WQL和其他算法。其次，我们将深度网络引入MMD-QL，创建了MMD Q-Network(MMD-QN)。在作出合理假设的前提下，我们分析了MMD-QN的收敛速度使用函数逼近技术。在具有挑战性的Atari游戏上的实证结果表明，MMD-QN相对于基准深度强化学习算法的表现非常好，突出了其在处理大型状态-动作空间上的有效性。

    Mar, 2024