强化学习中可解释性的抽象轨迹可视化

Feb, 2024

强化学习中可解释性的抽象轨迹可视化

Abstracted Trajectory Visualization for Explainability in Reinforcement Learning

Yoshiki Takagi, Roderick Tabalba, Nurit Kirshenbaum, Jason Leigh

TL;DR解释性人工智能（XAI）可以帮助研究强化学习（RL）模型如何工作的 RL 从业者，但对于没有 RL 专业知识的用户（非 RL 专家）的 XAI 研究不够充分。我们认为，描述 RL 模型主要状态之间转换的抽象轨迹对于非 RL 专家构建对代理模型的心理模型很有用。我们的早期结果表明，通过利用抽象轨迹的可视化，没有 RL 专业知识的用户能够推断 RL 的行为模式。

Abstract

explainable ai (XAI) has demonstrated the potential to help reinforcement learning (RL) practitioners to understand how RL models work. However, XAI for users who do not have RL expertise (non-rl experts), has no

explainable ai reinforcement learning non-rl experts abstracted trajectories behavior patterns

发现论文，激发创造

可解释强化学习：调查

该论文对可解释强化学习方法进行了归类和评估，并发现大多数方法是通过模仿和简化复杂模型而非设计本质简单模型来实现目的的，缺乏人文思考和跨学科研究。因此需要进行一系列的跨学科努力才能将这些生成的解释改进为非专家用户易于理解的形式，以实现可解释人工智能的最终目标。

May, 2020

深度强化学习中的可解释性

本文评估了直接将可解释性与强化学习相关联的研究，分为两类：透明算法和事后解释能力，并从解释如何潜在地启示最新的强化学习进展的角度回顾了最突出的 XAI 作品，以便在日益严峻和复杂的现实问题的未来部署中有所启示。

Aug, 2020

强化学习中的可解释性：观点和立场

本文系统地概述了现有的可解释强化学习方法，提出了一个新的统一分类方法，并建立了三个支柱来减少解释生成和接收方之间的差距并实现解释的诚实和真实性。

Mar, 2022

通过反事实轨迹解释强化学习策略

通过展示强化学习代理在更广泛的轨迹分布中的行为，我们的方法可以传达代理在分布转移下的表现，从而有助于代理的有效验证。在用户研究中，我们展示了我们的方法可以使用户在代理验证任务中的得分比基准方法高。

Jan, 2022

使用轨迹解释强化学习决策

本研究提出了一种基于训练中遇到的轨迹来解释训练好的 RL 代理决策的方法，并通过在离线环境中进行网格世界、视频游戏和连续控制等不同领域的实验，展示了这种方法在可解释性和可扩展性方面的有效性。

May, 2023

可解释性强化学习综述：概念、算法、挑战

本篇综述论文将积极介绍深度强化学习与可解释机器学习的交叉，比较了先前的方法，提出了一种补充，阐明了深度学习对智能机器人控制任务的适用性，强调机器学习与人类知识相互融合提升学习效率和性能的意义，并评估了未来 XRL 研究面临的挑战和机遇。

Nov, 2022

通过模型转换的可解释强化学习

通过使用形式化的马尔科夫决策过程抽象和转换，以自动产生解释的方式，解释强化学习智能体的新兴行为。

Sep, 2022

强化学习代理策略理解与可视化框架

本研究提出了一个框架，用于学习顺序决策任务的可理解模型，通过时间逻辑公式表征代理策略，并使用一个嵌入方法对代理足迹进行聚类，得出在不同的聚类中解释代理策略的逻辑公式，通过编写一个特征提取器和一个可视化工具，对在 StarCraft II 中的战斗场景进行了评估，实验结果表明，本框架可以将代理足迹分为不同的行为组，并为每个行为组提供一致、有意义且易于理解的策略描述。

Aug, 2022

基于状态转移模型的基于特征的可解释强化学习

提出了一种基于状态转移模型的强化学习局部可解释风险的方法，并通过实验证明了其有效性。

May, 2021

利用解释性技术实现强化学习模型的保证

通过使用 ARLIN 工具包，本文介绍了一种基于可解释强化学习（XRL）的方法，通过提供人类可解释的输出，帮助识别培训过的深度强化学习（DRL）模型中的潜在漏洞和关键问题，以增加用户在实际应用中的信任和采用。

Nov, 2023