Aug, 2022

需要一些监管：通过认知不确定性指标在强化学习中融入 Oracle 政策

HTML
PDF
TL;DR本文提出并应用一种度量Q-值函数中认知不确定性的度量标准，称为路径认知不确定性，并开发了一种计算其近似上限的方法F-值。我们在Deep Q-Networks (DQN)中实验性地应用其来表明在强化学习中的不确定性估计是学习进展的有用指标，并提出了基于CritiC的置信度引导探索（CCGE）的新方法，以在不确定性高时从现有（之前学习或预先编码）的oracle策略中学习，以避免训练期间无效的随机动作。然后我们应用该方法到Soft Actor-Critic(SAC)，并在几个常见的Gym环境中表明它比普通SAC表现更好。
发现论文，激发创造
  • 深度强化学习中的风险和不确定性估计

    提出了一个框架，通过学习的 Q 值来区分和估计强化学习中源于有限数据的认识不确定性和源于随机环境的aleatoric不确定性，并引入一种考虑不确定性的 DQN 算法，该算法表现出安全的学习行为，并在 MinAtar 测试中表现出优越性能。

    May, 2019

  • 查询智能体：通过认知不确定性估计提高样本利用效率

    本研究提出了一种名为“Query The Agent(QTA)”的新算法，它通过在状态空间中估计代理的认识不确定性并在高度不确定的区域中设定目标来显著提高样本效率。 QTA利用一种名为“Predictive Uncertainty Networks（PUN）”的新技术来估计认知不确定性，以便在所有先前观察到的状态下对代理的不确定性进行评估。我们证明QTA相对于现有方法具有决定性的样本效率提高。

    Oct, 2022

  • 带不确定性的规划：模型基强化学习中的深度探索

    本文研究了深度模型与强化学习中的样本效率问题。通过将认知不确定性引入到计划树中，规避了标准方法的不确定性传播，并通过MuZero算法进行了评估验证。 实验结果表明，可以通过不确定性规划实现有效的深度探索，从而显著提高样本效率。

    Oct, 2022

  • 通过知识危险寻优策略优化实现高效探索

    提出了一种基于期望风险的探索算法，通过训练神经网络和优化策略使智能体具有探索未知状态的能力，在深度强化学习中表现出良好的性能。

    Feb, 2023

  • 基于模型的价值函数不确定性

    在模型基强化学习中，我们考虑了如何量化累积奖励的不确定性，并提出了一种新的不确定Bellman方程来弥补现有工作的不足，该方法能够更准确地告诉我们此前探索的不足。实验表明，这种更精确的不确定性估计方法能够提高样本效率。

    Feb, 2023

  • 通过认识价值估计的探索

    本文提出了一种称为epistemic value estimation (EVE)的方法，用于有效探索在强化学习中的问题，EVE方法适用于序列决策以及神经网络函数逼近器，利用其可计算的参数的后验概率，能够有效地计算出epistemic value uncertainty这一不确定性，经实验验证EVE方法有助于在困难的探索任务中实现有效的探索。

    Mar, 2023

  • 基于模型的风险意识策略优化的认知变异性

    基于模型的强化学习中，我们考虑量化预期累积奖励的不确定性问题。我们提出了一个新的不确定性 Bellman 方程，其收敛到真实后验价值方差并在表格型探索问题中降低遗憾。我们鉴定了超越表格问题的应用挑战，并提出了相应的近似方法。基于这个近似，我们引入了一种通用的策略优化算法，Q-不确定性软 Actor-Critic（QU-SAC），可在风险追求或风险规避的策略优化中进行最小程度改动。在线与离线强化学习的实验结果表明相较于其他不确定性估计方法，性能得到了提升。

    Dec, 2023

  • 统一的不确定性感知探索：结合认知和随机不确定性

    我们提出了一种基于分布式强化学习的算法，通过估计参数化回报分布来统一估计aleatory和epistemic不确定性，并量化两种不确定性的综合效应以实现风险敏感的勘探。实证结果表明，我们的方法在具有勘探和风险挑战的任务中优于替代方法。

    Jan, 2024

  • 概率演员-评论家：利用PAC-Bayes不确定性学习探索

    Probabilistic Actor-Critic (PAC) algorithm improves continuous control performance by integrating stochastic policies and critics, explicitly modeling critic uncertainty through PAC-Bayes analysis, and adapting exploration strategy in deep reinforcement learning.

    Feb, 2024

  • 苏格拉底的怀疑回声：在校准的证据强化学习中拥抱不确定性

    我们提出了一种新颖的统计方法，用于在无模型分布式强化学习中纳入不确定性感知，它涉及基于分位回归的深度 Q 网络。该算法称为 CEQR-DQN（Calibrated Evidential Quantile Regression in Deep Q Networks），旨在解决在随机环境中分别估计偶然性和认识性不确定性所面临的关键挑战。它将深度证据学习与基于符合推理原则的分位校准相结合，提供明确的、无需样本的全局不确定性计算，而不是基于简单差异的局部估计，从而克服了传统方法在计算和统计效率以及处理超出分布范围观察的局限性。用于一套小型 Atari 游戏（即 MinAtar）的测试中，CEQR-DQN 在得分和学习速度方面超越了类似的现有框架。它对严格评估不确定性的能力改进了探索策略，并可作为其他需要不确定性感知的算法的蓝图。

    Feb, 2024