基于校准的模型驱动深度强化学习

Jun, 2019

基于校准的模型驱动深度强化学习

Calibrated Model-Based Deep Reinforcement Learning

Ali Malik, Volodymyr Kuleshov, Jiaming Song, Danny Nemer, Harlan Seymour...

TL;DR探索了模型强化学习需要哪些不确定性，论证了好的不确定性必须具有校准性，并描述了一种简单的方法来增强任何模型强化学习代理程序，并表明通过校准模型，可以一致地提高规划、样本复杂度和探索能力，该方法在 HalfCheetah MuJoCo 任务中实现了最先进的性能，使用 50％少的样本比当前领先的方法，并且研究表明，这种校准可以在计算和实施开销最小的情况下提高模型强化学习的性能。

Abstract

Estimates of predictive uncertainty are important for accurate model-based planning and reinforcement learning. However, predictive uncertainties---especially ones derived from modern deep learning systems---can

predictive uncertainty model-based reinforcement learning deep learning systems calibrated model performance

发现论文，激发创造

使用校准回归的深度学习准确不确定性

本文探讨贝叶斯方法在不确定性问题上的推理方法，提出一种简单有效的校准程序，可以保证在足够的数据下，任何回归算法都能够产生准确的校准不确定性估计，并应用于贝叶斯线性回归、前向和递归神经网络中，能够稳定输出准确的区间预测，并提高时间序列预测和基于模型的强化学习性能。

Jul, 2018

带不确定性的规划：模型基强化学习中的深度探索

本文研究了深度模型与强化学习中的样本效率问题。通过将认知不确定性引入到计划树中，规避了标准方法的不确定性传播，并通过 MuZero 算法进行了评估验证。实验结果表明，可以通过不确定性规划实现有效的深度探索，从而显著提高样本效率。

Oct, 2022

具有模型不确定性估计的安全强化学习

使用 MC-Dropout 和 Bootstrapping 方法来提高安全驾驶机器人的模型稳定性，实现在未知数据情况下的碰撞回避。

Oct, 2018

苏格拉底的怀疑回声：在校准的证据强化学习中拥抱不确定性

我们提出了一种新颖的统计方法，用于在无模型分布式强化学习中纳入不确定性感知，它涉及基于分位回归的深度 Q 网络。该算法称为 CEQR-DQN（Calibrated Evidential Quantile Regression in Deep Q Networks），旨在解决在随机环境中分别估计偶然性和认识性不确定性所面临的关键挑战。它将深度证据学习与基于符合推理原则的分位校准相结合，提供明确的、无需样本的全局不确定性计算，而不是基于简单差异的局部估计，从而克服了传统方法在计算和统计效率以及处理超出分布范围观察的局限性。用于一套小型 Atari 游戏（即 MinAtar）的测试中，CEQR-DQN 在得分和学习速度方面超越了类似的现有框架。它对严格评估不确定性的能力改进了探索策略，并可作为其他需要不确定性感知的算法的蓝图。

Feb, 2024

深度强化学习中的风险和不确定性估计

提出了一个框架，通过学习的 Q 值来区分和估计强化学习中源于有限数据的认识不确定性和源于随机环境的 aleatoric 不确定性，并引入一种考虑不确定性的 DQN 算法，该算法表现出安全的学习行为，并在 MinAtar 测试中表现出优越性能。

May, 2019

通过准确度与不确定性优化来改善模型校准

优化深度神经网络中的不确定性估计是安全关键应用中的一个重要问题。本文提出了利用准确度与不确定性之间的关系进行优化的方法，通过可微的 loss 函数来实现模型的不确定性校准，结果显示比现有的方法在大规模图像分类任务中表现的更好

Dec, 2020

谨防不确定性：风险意识和积极探索模型的基于强化学习

我们引入了一种简单而有效的方法来管理基于模型的强化学习中的风险，该方法使用了概率安全约束、在确知不确定性面前的乐观和在事件性不确定性面前的悲观以及一组随机神经网络的平衡。各种实验证明，不确定性的分离对于在不确定和安全关键的控制环境中使用数据驱动的 MPC 方法表现良好是至关重要的。

Sep, 2023

回归任务中的不确定性预测评估和校准

本文提出了一种新的针对回归任务中不确定性预测校准的方法和评估方法，并通过对合成问题和对 COCO 和 KITTI 数据集的物体检测边界框回归任务的实验验证，展示出基于直方图的聚类方法和基于缩放的校准方法的效果相当好。

May, 2019

提高心脏磁共振图像分类深度学习模型校准的不确定性感知训练

在临床决策支持环境中，为了开发更加可靠的人工智能（AI）模型，量化预测的不确定性被视为一种方法，使模型超越传统的性能指标报告。本研究评估了三种新颖的不确定性感知训练策略，并与两种先进方法进行比较，分析了在心脏再同步治疗反应预测和冠状动脉疾病诊断等临床应用中的性能。在考虑了多个校准测量指标后，得出了需要在医疗保健的复杂高风险应用中进行仔细考虑性能指标的结论。

Aug, 2023

基于深度强化学习的实时模型校准

本研究提出了一种基于强化学习的模型参数推断框架，该框架以物理模型响应跟踪为目标，利用一种约束 Lyapunov 基础的 actor-critic (CLAC) 算法，考虑了大规模和高维数据以及嘈杂的真实世界条件下的鲁棒性，实现了在两个基于物理模型的诊断测试案例中的优秀表现。

Jun, 2020