REVEAL-IT: 可解释性的具备进化 Agent 策略的增强学习

Jun, 2024

REVEAL-IT: 可解释性的具备进化 Agent 策略的增强学习

REVEAL-IT: REinforcement learning with Visibility of Evolving Agent poLicy for InTerpretability

Shuang Ao, Simon Khan, Haris Aziz, Flora D. Salim

TL;DR在本文中，我们提出了 REVEAL-IT 框架，用于解释复杂环境中代理人的学习过程。我们通过可视化策略结构和代理人在各种训练任务中的学习过程来理解一个特定的训练任务或阶段对代理人在测试中的性能有多大影响。然后，基于图神经网络的解释器学习突出策略中最重要的部分，提供更清晰和更强大的解释代理人学习过程的工具。实验证明，从该框架获得的解释能够有效帮助优化。

Abstract

Understanding the agent's learning process, particularly the factors that contribute to its success or failure post-training, is crucial for comprehending the rationale behind the agent's decision-making process.

agent's learning process success or failure post-training structural causal model visualize the policy structure gnn-based explainer

发现论文，激发创造

强化学习代理策略理解与可视化框架

本研究提出了一个框架，用于学习顺序决策任务的可理解模型，通过时间逻辑公式表征代理策略，并使用一个嵌入方法对代理足迹进行聚类，得出在不同的聚类中解释代理策略的逻辑公式，通过编写一个特征提取器和一个可视化工具，对在 StarCraft II 中的战斗场景进行了评估，实验结果表明，本框架可以将代理足迹分为不同的行为组，并为每个行为组提供一致、有意义且易于理解的策略描述。

Aug, 2022

通过模型转换的可解释强化学习

通过使用形式化的马尔科夫决策过程抽象和转换，以自动产生解释的方式，解释强化学习智能体的新兴行为。

Sep, 2022

通过反事实轨迹解释强化学习策略

通过展示强化学习代理在更广泛的轨迹分布中的行为，我们的方法可以传达代理在分布转移下的表现，从而有助于代理的有效验证。在用户研究中，我们展示了我们的方法可以使用户在代理验证任务中的得分比基准方法高。

Jan, 2022

基于预期后果的强化学习对比解释

本文提出了一种方法，使强化学习代理能够解释其行为，以期实现机器学习模型的透明化。通过将状态和行动转换为易于人类理解的描述，并使用一种可生成解释的格式，进行了计算，结果表明人类用户倾向于关注政策而非单个操作。

Jul, 2018

基于状态转移模型的基于特征的可解释强化学习

提出了一种基于状态转移模型的强化学习局部可解释风险的方法，并通过实验证明了其有效性。