May, 2023

使用策略蒸馏的深度强化学习模型反事实解释框架

PDF
TL;DR该论文提出一种新颖的反事实解释框架，以解释黑盒 DRL 的决策，并在自动驾驶系统和 Atari Pong 游戏领域进行了多项实验。分析表明，所提出的框架为深层 DRL 的各种决策生成了可行且有意义的解释。
deep reinforcement learningverificationcounterfactual explanationinterpretation methodssafety-critical systems
发现论文，激发创造
  • SAFE-RL：针对深度强化学习策略的显著性感知因果解释器

    深度强化学习在复杂控制任务中显示出了极大的潜力，然而学习策略的不可解释性限制了其在安全关键应用（如自动驾驶系统）中的应用。为了解决这些问题，本文提出了一种使用显著性地图识别代理过去观测状态序列中影响力最大的输入像素，并将该地图馈送到深度生成模型中的方法，从而实现在显著区域进行约束修改的可信 Counterfactual 示例的生成。通过多个领域的实验结果表明，该方法能够在广泛的环境和深度强化学习代理中生成更加信息丰富和可信的 Counterfactual 示例。

    Apr, 2024

  • 强化学习中的反事实解释策略

    通过引入反事实解释，COUNTERPOL 框架能够分析强化学习政策，并找到引导所需结果的政策最小改变，展示其在设计和开发反事实政策方面的实用性。

    Jul, 2023

  • 强化学习的反事实解释

    通过重新定义反事实解释方法，结合强化学习的特点，探索在强化学习领域实现反事实解释的方法和研究方向。

    Oct, 2022

  • 通过生成深度学习为强化学习智能体提供反事实状态解释

    本文提出了一种基于生成式深度学习的新颖例子法方法，生成针对深度强化学习代理在视觉环境中操作（如 Atari）的反事实状态解释，探究这种解释的有效性，并对非专家参与者进行了测试比较。结果表明，与最近邻基线或根本没有解释相比，反事实状态解释对于帮助非专家参与者识别出有缺陷的强化学习代理具有足够的真实性。

    Jan, 2021

  • 使用深度强化学习学习序列反事实解释的公正策略

    在可解释人工智能领域中，使用顺序反事实示例来改变经过训练的分类器的决策是常用的方法。本文针对现有方法的不足提出了使用分类器的输出概率来创建更具信息性的奖励以减轻潜在偏见等问题。

    Nov, 2023

  • GANterfactual-RL: 通过视觉反事实解释理解强化学习智能体的策略

    本论文提出了一种新颖而简单的方法，将问题形式化为域转移问题，使用 StarGAN 等对抗性学习技术来生成 RL 代理的反事实解释，证明该方法在分析不同代理机器人的学习策略时表现最佳。

    Feb, 2023

  • 对策说明的随机优化

    通过提出一种基于随机学习的框架和特征选择模块来平衡反事实解释的权衡，本研究在生成可行的反事实解释方面展现了其有效性，并表明其比基线更加多样化和高效。

    Sep, 2022

  • SAFE：基于显著性感知的深度神经网络自动驾驶系统反事实解释

    这篇论文提出了一种利用显著性地图生成更具信息量的 CF 解释的新方法，以解决当前深层生成 CF 模型中被选择特征导致的反直觉结果的问题。

    Jul, 2023

  • 平滑解释黑匣子 —— 反事实方法

    该研究提出了一种黑盒对抗解释器来解释医学应用中的图像分类模型，并通过对诊断放射学居民进行实验，发现反事实解释是唯一能显着提高用户对分类器决策理解的解释方法。

    Jan, 2021

  • 无模型可解释强化学习的远距离解释

    本论文介绍和评估了一种远程解释模型，该模型可为模型无关的强化学习代理生成为 “为什么” 和 “为什么不” 问题的解释，通过决策树和因果模型可分析对立假设和机会链。实验表明，该模型在不同强化学习算法的 6 个基准测试中产生了改进的结果。

    Jan, 2020