深度强化学习在复杂控制任务中显示出了极大的潜力，然而学习策略的不可解释性限制了其在安全关键应用（如自动驾驶系统）中的应用。为了解决这些问题，本文提出了一种使用显著性地图识别代理过去观测状态序列中影响力最大的输入像素，并将该地图馈送到深度生成模型中的方法，从而实现在显著区域进行约束修改的可信 Counterfactual 示例的生成。通过多个领域的实验结果表明，该方法能够在广泛的环境和深度强化学习代理中生成更加信息丰富和可信的 Counterfactual 示例。

Apr, 2024

本文对几种显著性方法进行实验和理论探索，提出用可行的方法来评估一种方法所能提供和不能提供的解释类型。实验证明，有些现有的显著性方法具有独立性，这些方法不受模型和数据生成过程的影响，因此，那些未通过所提出测试的方法，对于对数据或模型敏感的任务（ 如在数据中找到异常值，解释模型所学到的输入和输出之间的关系以及调试模型）是不适当的。与边缘检测类比，本文发现一些显著性方法无需训练数据或模型就能有效实现其功能。

Oct, 2018

本研究提出了 SARFA，一种基于深度增强学习的视觉化方法，生成更加专业和相关的显著图，相比现有方法更容易解释。在棋盘游戏（如国际象棋和围棋）和 Atari 游戏（如打砖块、乒乓球和太空侵略者）的比较中，SARFA 产生的显著图比现有方法更容易解释。

Dec, 2019

本文针对 Atari 2600 游戏环境的深度强化学习智能体，通过生成显著图以及对其进行分析，揭示了强化学习智能体学习和执行策略的方式，并且在测试了普通人的行为决策时，证明了该方法的有效性。

Oct, 2017

本文提出了一种基于生成式深度学习的新颖例子法方法，生成针对深度强化学习代理在视觉环境中操作（如 Atari）的反事实状态解释，探究这种解释的有效性，并对非专家参与者进行了测试比较。结果表明，与最近邻基线或根本没有解释相比，反事实状态解释对于帮助非专家参与者识别出有缺陷的强化学习代理具有足够的真实性。

Jan, 2021

该研究提出了一种新的判别性反事实视觉解释方法，通过结合三个归属图来计算反事实图，从而更快地获得表现良好的结果，并通过一套量化指标来评价结果。

Apr, 2020

该研究提出了一种黑盒对抗解释器来解释医学应用中的图像分类模型，并通过对诊断放射学居民进行实验，发现反事实解释是唯一能显着提高用户对分类器决策理解的解释方法。

Jan, 2021

本研究通过用户研究，探究关于解释对非专家理解强化学习代理的影响，研究了视觉化 saliency 和最近的解释类型奖励分解条，并设计了实验以比较参与者对于简单实时战略游戏中 RL 代理的心理模型。结果表明，需要同时结合 saliency 和奖励条才能显著提高心理模型得分。

Mar, 2019

该论文提出了一种方法将视觉化的神经网络关注热点与自然语言解释相结合，形成可读性更高的可解释性，研究表明这种方法比传统的热图可视化更易于人类理解。

Oct, 2022

68 个用户研究的系统综述发现，显著性图可以增强人类表现，但也常见到零效应甚至负效应。这些效应受多个因素的调节，包括人类任务、AI 性能、XAI 方法、待分类的图像、人类参与者和比较条件等。图像任务中的效益不如 AI 任务中常见，但效果取决于具体的认知需求。此外，效益通常局限于 AI 任务中的错误预测，而在图像任务中局限于正确预测。与 XAI 相关的因素影响较小。对于图像和人类相关的因素，证据有限且效应高度依赖于比较条件。这些发现可能有助于未来用户研究的设计。

Apr, 2024