通过因果世界模型实现可解释的强化学习

IJCAIMay, 2023

通过因果世界模型实现可解释的强化学习

Explainable Reinforcement Learning via a Causal World Model

Zhongwei Yu, Jingqing Ruan, Dengpeng Xing

TL;DR本文针对强化学习中行为的长期影响，提出了一种基于因果世界模型的可解释强化学习框架。该模型能够捕捉行为的影响，通过因果链解释行为的长期效应，从而提高模型的可解释性，同时保持了准确性，使其适用于基于模型的学习。实验结果表明，因果模型可以作为解释性和学习之间的桥梁。

Abstract

Generating explanations for reinforcement learning (RL) is challenging as actions may produce long-term effects on the future. In this paper, we develop a novel framework for explainable RL by learning a causal world mo

explainable reinforcement learning causal world model long-term effects interpretation of actions model-based learning

发现论文，激发创造

因果透镜下的可解释强化学习

本文使用因果关系模型来推导强化学习器的行为的因果解释，并通过对一项实验的研究结果表明，基于因果模型的解释在任务预测、解释满意度和信任方面表现更好。

May, 2019

增强学习的因果解释：量化状态和时间重要性

本文研究了强化学习中的可解释性问题，提出了一种基于因果关系的解释机制并通过模拟实验验证了其在解释政策方面的优势。

Oct, 2022

无模型可解释强化学习的远距离解释

本论文介绍和评估了一种远程解释模型，该模型可为模型无关的强化学习代理生成为 “为什么” 和 “为什么不” 问题的解释，通过决策树和因果模型可分析对立假设和机会链。实验表明，该模型在不同强化学习算法的 6 个基准测试中产生了改进的结果。

Jan, 2020

学做中：带因果感知策略的在线因果强化学习框架

通过引入因果图模型来显式建模状态生成过程，并通过主动干预学习环境，优化衍生目标，提出了一种在探索阶段使用干预进行因果结构学习，然后在开发阶段使用学习到的因果结构进行策略指导的框架。实验结果表明，我们的方法在因果指导的策略学习和因果结构学习的良性循环的推动下，在故障报警环境中有效且稳健，超越了最先进的基准方法。

Feb, 2024

强化学习的经验性解释

通过 Experiential Explanations 生成局部反事实解释来帮助解释强化学习代理的决策，利用影响预测模型来恢复失去的关于策略如何反映环境的情境信息，并在人类评估研究中实现了更高的正确预测率和更高的解释实用性。

Oct, 2022

基于状态转移模型的基于特征的可解释强化学习

提出了一种基于状态转移模型的强化学习局部可解释风险的方法，并通过实验证明了其有效性。

May, 2021

基于预期后果的强化学习对比解释

本文提出了一种方法，使强化学习代理能够解释其行为，以期实现机器学习模型的透明化。通过将状态和行动转换为易于人类理解的描述，并使用一种可生成解释的格式，进行了计算，结果表明人类用户倾向于关注政策而非单个操作。

Jul, 2018

为什么？解释支持学习关系和因果结构

本文研究了如何使用语言描述和解释方式来改善深度强化学习智能体的学习和推理能力，特别是对于复杂环境下的关联结构和因果结构的推断，结果表明该方法可以有效地解决数据分布不清晰和因果混淆等问题。

Dec, 2021

为可解释强化学习进行因果状态精炼

本文介绍了一种扩展奖励分解方法的因果学习框架，通过利用信息论度量的解释目标来鼓励因果因素的三个关键属性：因果充分性、稀疏性和正交性，并通过提取智能体状态、动作或奖励之间的因果关系深入理解其决策过程，从而为行动选择提供更有意义和有洞察力的解释。

Dec, 2023

网络强化学习的因果性质

强化学习和因果建模在互补中相当自然地互相配合。本研究论文考察了哪些强化学习设置可以受益于因果建模，以及如何进行。

Mar, 2024