Jan, 2024

统一的不确定性感知探索：结合认知和随机不确定性

PDF
TL;DR我们提出了一种基于分布式强化学习的算法，通过估计参数化回报分布来统一估计 aleatory 和 epistemic 不确定性，并量化两种不确定性的综合效应以实现风险敏感的勘探。实证结果表明，我们的方法在具有勘探和风险挑战的任务中优于替代方法。
发现论文，激发创造
  • 深度强化学习中的风险和不确定性估计

    提出了一个框架，通过学习的 Q 值来区分和估计强化学习中源于有限数据的认识不确定性和源于随机环境的 aleatoric 不确定性，并引入一种考虑不确定性的 DQN 算法，该算法表现出安全的学习行为，并在 MinAtar 测试中表现出优越性能。

    May, 2019

  • 通过认识价值估计的探索

    本文提出了一种称为 epistemic value estimation (EVE) 的方法，用于有效探索在强化学习中的问题，EVE 方法适用于序列决策以及神经网络函数逼近器，利用其可计算的参数的后验概率，能够有效地计算出 epistemic value uncertainty 这一不确定性，经实验验证 EVE 方法有助于在困难的探索任务中实现有效的探索。

    Mar, 2023

  • 认识不确定性采样

    本文讨论了在 “不确定性采样” 策略的背景下，确立和不可归约不确定性的区别，提出了 “确立不确定性采样” 的概念，并使用一种具体的方法来衡量确立不确定性和偶发不确定性。实验表明，确立不确定性采样效果良好。

    Aug, 2019

  • 带不确定性的规划：模型基强化学习中的深度探索

    本文研究了深度模型与强化学习中的样本效率问题。通过将认知不确定性引入到计划树中，规避了标准方法的不确定性传播，并通过 MuZero 算法进行了评估验证。 实验结果表明，可以通过不确定性规划实现有效的深度探索，从而显著提高样本效率。

    Oct, 2022

  • 深入探讨随机误差与认知误差的分离

    研究神经网络的不确定性问题，提出了一种新的不确定性量化方法，能够区分 aleatoric 和 epistemic uncertainties，实验证明 Ensembles 可以提供整体性最好的解决方案，同时推荐采样 softmax 函数的超参数 N 大于 100。

    Apr, 2022

  • 谨防不确定性：风险意识和积极探索模型的基于强化学习

    我们引入了一种简单而有效的方法来管理基于模型的强化学习中的风险，该方法使用了概率安全约束、在确知不确定性面前的乐观和在事件性不确定性面前的悲观以及一组随机神经网络的平衡。各种实验证明，不确定性的分离对于在不确定和安全关键的控制环境中使用数据驱动的 MPC 方法表现良好是至关重要的。

    Sep, 2023

  • 通过知识危险寻优策略优化实现高效探索

    提出了一种基于期望风险的探索算法，通过训练神经网络和优化策略使智能体具有探索未知状态的能力，在深度强化学习中表现出良好的性能。

    Feb, 2023

  • 认知风险敏感强化学习

    本文介绍了一种基于偏爱函数的风险感知的增强学习框架，在不确定的环境下可以通过调节风险偏好参数实现风险规避，风险中性或风险承受。同时，作者使用动态规划和策略梯度算法来衡量和控制认知风险，并将风险规避策略与认知风险环境下的最优风险中性策略进行了比较分析。

    Jun, 2019

  • 基于不确定性的分布离线强化学习

    提出了一种不确定性感知的离线强化学习方法，同时解决了认知不确定性和环境随机性，能够学习风险规避策略并表征折扣累积奖励的整个分布。通过在风险敏感和风险中立基准测试中进行全面实验评估，证明了其卓越的性能。

    Mar, 2024

  • 用适当评分规则量化随机和知识不确定性

    提出了基于合适评分规则（proper scoring rules）的新的测量方法，用于量化机器学习中的系统不确定性和认知不确定性，建立了不同不确定性表示之间的联系，并引入了新的认知和系统不确定性度量。

    Apr, 2024