因果透镜下的可解释强化学习

AAAIMay, 2019

Explainable Reinforcement Learning Through a Causal Lens

Prashan Madumal, Tim Miller, Liz Sonenberg, Frank Vetere

TL;DR本文使用因果关系模型来推导强化学习器的行为的因果解释，并通过对一项实验的研究结果表明，基于因果模型的解释在任务预测、解释满意度和信任方面表现更好。

Abstract

Prevalent theories in cognitive science propose that humans understand and represent the knowledge of the world through causal relationships. In making sense of the world, we build causal models in our mind to encode cause-effect relations of events and use these to explain why new eve

causal models reinforcement learning counterfactual analysis real-time strategy game explanation satisfaction

发现论文，激发创造

通过因果世界模型实现可解释的强化学习

本文针对强化学习中行为的长期影响，提出了一种基于因果世界模型的可解释强化学习框架。该模型能够捕捉行为的影响，通过因果链解释行为的长期效应，从而提高模型的可解释性，同时保持了准确性，使其适用于基于模型的学习。实验结果表明，因果模型可以作为解释性和学习之间的桥梁。

May, 2023

为什么？解释支持学习关系和因果结构

本文研究了如何使用语言描述和解释方式来改善深度强化学习智能体的学习和推理能力，特别是对于复杂环境下的关联结构和因果结构的推断，结果表明该方法可以有效地解决数据分布不清晰和因果混淆等问题。

Dec, 2021

强化学习的经验性解释

通过 Experiential Explanations 生成局部反事实解释来帮助解释强化学习代理的决策，利用影响预测模型来恢复失去的关于策略如何反映环境的情境信息，并在人类评估研究中实现了更高的正确预测率和更高的解释实用性。

Oct, 2022

因果强化学习：一项调查

本文综述了因果强化学习的文献，介绍了其基本概念和如何应对非因果强化学习中的主要挑战，分类并系统地回顾了现有的因果强化学习方法，最后概述了该新兴领域的未解决问题和未来方向。

Jul, 2023

网络强化学习的因果性质

强化学习和因果建模在互补中相当自然地互相配合。本研究论文考察了哪些强化学习设置可以受益于因果建模，以及如何进行。

Mar, 2024

增强学习的因果解释：量化状态和时间重要性

本文研究了强化学习中的可解释性问题，提出了一种基于因果关系的解释机制并通过模拟实验验证了其在解释政策方面的优势。

Oct, 2022

学做中：带因果感知策略的在线因果强化学习框架

通过引入因果图模型来显式建模状态生成过程，并通过主动干预学习环境，优化衍生目标，提出了一种在探索阶段使用干预进行因果结构学习，然后在开发阶段使用学习到的因果结构进行策略指导的框架。实验结果表明，我们的方法在因果指导的策略学习和因果结构学习的良性循环的推动下，在故障报警环境中有效且稳健，超越了最先进的基准方法。

Feb, 2024

元强化学习推理因果关系

研究通过元强化学习是否可以发现因果推理，在这项研究中，我们训练了一个递归神经网络对包含因果结构的一系列问题进行无模型强化学习，证明了该代理可以在新的情况下进行因果推理，从观测数据中得出因果推断结果以及进行反事实预测，我们提出这种学习方法也可以在复杂的推理场景中进行因果推理，同时该工作还提供了新的强化学习结构探索策略。

Jan, 2019

无模型可解释强化学习的远距离解释

本论文介绍和评估了一种远程解释模型，该模型可为模型无关的强化学习代理生成为 “为什么” 和 “为什么不” 问题的解释，通过决策树和因果模型可分析对立假设和机会链。实验表明，该模型在不同强化学习算法的 6 个基准测试中产生了改进的结果。

Jan, 2020

基于预期后果的强化学习对比解释

本文提出了一种方法，使强化学习代理能够解释其行为，以期实现机器学习模型的透明化。通过将状态和行动转换为易于人类理解的描述，并使用一种可生成解释的格式，进行了计算，结果表明人类用户倾向于关注政策而非单个操作。

Jul, 2018