评估强化学习稳定性、鲁棒性和恢复力的指标综述

Mar, 2022

评估强化学习稳定性、鲁棒性和恢复力的指标综述

Review of Metrics to Measure the Stability, Robustness and Resilience of Reinforcement Learning

Laura L. Pullum

TL;DR本文对于强化学习的健壮性、稳定性和韧性进行了全面的文献综述，通过分类已有的定量和理论方法来评估和衡量这些行为，并提供了一个有用的决策树来选择衡量这些行为的指标，这是首个针对强化学习的稳定性、健壮性和韧性的全面综述。

Abstract

reinforcement learning has received significant interest in recent years, due primarily to the successes of deep reinforcement learning at solving many challenging tasks such as playing Chess, Go and online compu

reinforcement learning robustness stability resilience literature review

发现论文，激发创造

测量强化学习算法的可靠性

本文通过提出一套度量强化学习算法可靠性的评估指标以及相应的统计测试，对可靠性的不同方面进行了量化测量，并对常见算法和环境进行实证研究和分析。

Dec, 2019

评估强化学习算法的性能

本文提出了一种全新的强化学习算法综合评估方法，旨在解决现有评估指标不当的问题并确保性能结果的一致性和可重复性，且通过在标准基准任务上运用这种方法评估了广泛的强化学习算法。

Jun, 2020

安全和稳健的强化学习：原理和实践

通过综述方法与开放问题对最近几年来 RL 的安全和稳健性的相关研究工作进行总结，本文主要关注 RL 系统在现实场景中的安全性和稳健性挑战，探讨了算法、伦理和实践考虑等方面的主要维度以及如何增强 RL 代理的安全性和稳健性，同时讨论了环境因素和人的参与等影响因素，最后提出了一个实用的检查清单，以帮助从业者在各个应用领域负责任地部署 RL 系统。

Mar, 2024

评估分布偏移对强化学习性能的影响

针对分布转换情况下的强化学习进行严格评估的方法研究。

Feb, 2024

具有稳定性保证的安全基于模型的强化学习

该论文提出了一种考虑安全性的学习算法，利用 Lyapunov 稳定性检验的控制理论结果和动力学统计模型，得到具备可证明稳定性证书的高性能控制策略，并通过高斯过程先验进一步保证数据安全性和提高控制性能。在反演摆模拟实验中表现出安全性高、控制性能良好的特点。

May, 2017

测量强化学习中的干预鲁棒性

本文提出了干预鲁棒性的概念，并开发了一种可量化的方法来测量它。通过对八个算法和三种 Atari 环境下的干预和状态进行计算，发现干预鲁棒性因算法类型和训练次数而异，高性能不一定意味着高干预鲁棒性。

Sep, 2022

带稳定性保证的演员 - 评论家强化学习控制

使用经典控制理论中的 Lyapunov 方法，为控制系统提供稳定性保证的 actor-critic RL 框架，确保在一定程度的不确定性干扰下，学习到的策略使得系统能够恢复到平衡或航点。

Apr, 2020

评估真实世界机器人上深度强化学习算法的可重复性调查

本文探讨了强化学习中的无法重现性问题，提出了使用严格规范的评估方法来确保算法之间的公正比较，并强调了选取适当的度量标准和进行合适的统计分析来做出无偏见的结果报告。

Sep, 2019

智能驱动增强学习的鲁棒性评估

采用奖励机制的智能驱动增强学习的鲁棒性问题需要进一步研究以加强当前先进的增强学习方法并达到应用于关键任务的状态。

Nov, 2023

稳定性认证强化学习：控制理论视角

论文研究了通过调节策略的输入输出梯度，可以基于可行性半定规划问题获得健壮稳定性的保证，并通过应用于两个去中心化控制任务，证明强化学习代理可以在稳定控制参数空间中具有高性能和长期稳定的学习行为。

Oct, 2018