RACCER：面向强化学习的可达到和确定的反事实解释

Mar, 2023

RACCER：面向强化学习的可达到和确定的反事实解释

RACCER: Towards Reachable and Certain Counterfactual Explanations for Reinforcement Learning

Jasmina Gajcin, Ivana Dusparic

TL;DR本文提出 RACCER，这是第一个针对 RL 行为生成对抗性解释的 RL 特定方法，我们使用 RL 特定的对抗性属性，并使用启发式树搜索算法来查找最合适的对抗性解释，并进行了用户研究以证明对抗性解释可以帮助用户更好地理解 RL 代理的行为。

Abstract

While reinforcement learning (RL) algorithms have been successfully applied to numerous tasks, their reliance on neural networks makes their behavior difficult to understand and trust. counterfactual explanations

reinforcement learning counterfactual explanations rl-specific approach heuristic tree search user study

发现论文，激发创造

ACTER: RL 策略解释和诊断的多样和可行的反事实序列

提供可操作建议以避免强化学习中的失败，该算法以最小变化和高确定性生成能够预防失败的相反事实序列，并在多样的情况下生成多种相反事实序列。

Feb, 2024

强化学习的反事实解释

通过重新定义反事实解释方法，结合强化学习的特点，探索在强化学习领域实现反事实解释的方法和研究方向。

Oct, 2022

GANterfactual-RL: 通过视觉反事实解释理解强化学习智能体的策略

本论文提出了一种新颖而简单的方法，将问题形式化为域转移问题，使用 StarGAN 等对抗性学习技术来生成 RL 代理的反事实解释，证明该方法在分析不同代理机器人的学习策略时表现最佳。

Feb, 2023

神经推荐系统的反事实解释

本文提出了 ACCENT，一个基于影响函数的通用框架，用于找到深度神经网络推荐系统的因果解释。我们利用 ACCENT 生成了针对两种流行的神经网络模型（NCF 和 RCF）的因果解释，并在 MovieLens100K 数据集的样本上表明其可行性。

May, 2021

通过生成深度学习为强化学习智能体提供反事实状态解释

本文提出了一种基于生成式深度学习的新颖例子法方法，生成针对深度强化学习代理在视觉环境中操作（如 Atari）的反事实状态解释，探究这种解释的有效性，并对非专家参与者进行了测试比较。结果表明，与最近邻基线或根本没有解释相比，反事实状态解释对于帮助非专家参与者识别出有缺陷的强化学习代理具有足够的真实性。

Jan, 2021

提高强化学习健壮性的因果反事实

本研究提出 CausalCF，将因果推理与强化学习相结合，使得该模型在复杂任务上更加稳健，同时，实验表明 CausalCF 已经成为了第一个完整的能够将 Causal Curiosity 和 CoPhy 思想融入的因果强化学习解决方案。

Nov, 2022

强化学习中的反事实解释策略

通过引入反事实解释，COUNTERPOL 框架能够分析强化学习政策，并找到引导所需结果的政策最小改变，展示其在设计和开发反事实政策方面的实用性。

Jul, 2023

强化路径推理用于反事实可解释推荐

本文提出了一种基于新型可解释性推荐 (CERec) 的方法，利用基于项目属性的反事实解释来提高推荐效果，采用强化学习环境中均匀搜索候选反事实，通过适应路径采样器，使用给定的知识图的丰富上下文信息来缩小巨大的搜索空间。此外，在推荐模型中部署解释策略以提高推荐。

Jul, 2022

局部引导的顺序算法补救的反事实解释

通过算法补偿实施的反事实推演已成为使人工智能系统具有可解释性的强大工具，本文提出了一种名为 LocalFACE 的模型不可知技术，通过局部获取的信息在每个算法补偿步骤中构建可行且可操作的反事实解释。

Sep, 2023

通过反事实行动结果解释强化学习代理

提出了一种名为 COViz 的本地解释方法，将代理选择的行为结果与对照行为结果进行可视化比较，并与奖励分解法进行了对比评估，结果显示两种方法的综合利用显著提高了参与者的性能。

Dec, 2023