近年来，深度学习的进展在使用强化学习（RL）解决高维输入的复杂序列决策任务方面取得了很多成功。然而，现有系统缺乏提供人类全面能力视图的机制，这在决策可能产生重大后果的关键应用中是一个阻碍。为了更可解释的深度强化学习（xDRL），我们提出了一种基于有趣性分析的新框架。我们的工具提供了来自有趣性分析的 RL 代理能力的各种度量，适用于各种 RL 算法，并原生支持流行的 RLLib 工具包。我们通过在一系列复杂度不同的场景中应用所提出的流程来展示我们框架的用途。我们通过全局和局部的有趣性分析，经验性地评估了这种方法在识别代理行为模式、控制条件和任务元素对代理能力的影响方面的能力。总的来说，我们展示了我们的框架可以为代理设计人员提供有关 RL 代理能力的见解，包括它们的能力和限制，从而使得在人机协作中进行更明智的决策、额外的训练和其他交互能够有更多的信息支持。

Jul, 2023

本文提出一个可解释的强化学习框架，通过分析代理与环境的交互历史来提取有助于解释其行为的有趣元素，从而创造可视化的摘要，评估用户的感知能力，结果表明，不同有趣元素捕捉到的方面的多样性对于帮助人类正确理解代理在执行任务中的优势和限制是至关重要的。

Dec, 2019

本篇综述论文将积极介绍深度强化学习与可解释机器学习的交叉，比较了先前的方法，提出了一种补充，阐明了深度学习对智能机器人控制任务的适用性，强调机器学习与人类知识相互融合提升学习效率和性能的意义，并评估了未来 XRL 研究面临的挑战和机遇。

Nov, 2022

本研究结合全局与局部解释方法，通过用户研究评估其共同和单独的贡献，其中将模拟代理程序中的重要状态转换提取为策略概述，并为用户提供注重的信息，结果表明，如果概要包括重要状态的话，人们理解代理程序的能力显著提高。尽管加入显著性地图在大多数情况下并没有显著提高性能，但确实有一些证据表明显著性地图可以帮助用户更好地理解代理程序在决策过程中依赖的信息，为未来的工作提供了建议。

May, 2020

本研究提出了一个框架，用于学习顺序决策任务的可理解模型，通过时间逻辑公式表征代理策略，并使用一个嵌入方法对代理足迹进行聚类，得出在不同的聚类中解释代理策略的逻辑公式，通过编写一个特征提取器和一个可视化工具，对在 StarCraft II 中的战斗场景进行了评估，实验结果表明，本框架可以将代理足迹分为不同的行为组，并为每个行为组提供一致、有意义且易于理解的策略描述。

Aug, 2022

本研究探讨将局部和全局解释方法相结合，通过激励分解和 HIGHLIGHTS 两种解释方式，帮助用户理解强化学习算法在决策制定时行为的策略，并通过两个用户研究证明两种方法的显著优势。

Oct, 2022

本文评估了直接将可解释性与强化学习相关联的研究，分为两类：透明算法和事后解释能力，并从解释如何潜在地启示最新的强化学习进展的角度回顾了最突出的 XAI 作品，以便在日益严峻和复杂的现实问题的未来部署中有所启示。

Aug, 2020

本文提出了一种基于人类启发的框架以提高采样效率，其中通过逐步提供简单但相似的任务来适应复杂的强化学习任务，并且使用任何转移学习方法来减少样本复杂性而不增加计算复杂性，实验表明该框架能够在优化问题方面表现出良好的性能。

Feb, 2023

在线强化学习和深度强化学习在自适应系统和可解释性 RL 技术方面的实际应用以及用户研究。

Jul, 2023

提出了一种基于状态转移模型的强化学习局部可解释风险的方法，并通过实验证明了其有效性。

May, 2021