Mar, 2024

利用反事实路径对 POMDP 策略进行对比解释

PDF
TL;DR通过使用用户提供的反事实来生成 POMDP 策略的对比解释，探索可解释人工智能的方法以提高系统透明度并建立信任，本文以 Search and Rescue (SAR) 为例进行了分析和讨论相关挑战。
explainable artificial intelligencepartially observable markov decision processesuser-provided counterfactualspomdp policiessearch and rescue
发现论文，激发创造
  • 可解释人工智能与反事实路径

    提出了一种基于条件置换生成反事实路径的新型可解释性人工智能（XAI）方法，可以在知识图谱中识别与模型预测最相关的特征或特征组合，提供比传统特征加权方法更直观和可解释的模型行为解释，并有助于发现和减轻模型中的偏差。

    Jul, 2023

  • 使用概率对比假设解释黑盒算法

    该研究提出一种基于因果关系的方法来解释黑盒决策系统，并使用概率对比反事实证明其有效性，能够为受算法决策影响的个体提供可行的补救措施。该方法不需要了解算法内部结构，能够计算全局、局部和情境层面的有效解释和补救措施。经实验证明，该方法较 XAI 的其他流行算法效果更好。

    Mar, 2021

  • 对策说明的随机优化

    通过提出一种基于随机学习的框架和特征选择模块来平衡反事实解释的权衡，本研究在生成可行的反事实解释方面展现了其有效性，并表明其比基线更加多样化和高效。

    Sep, 2022

  • 生成深度学习的可信反事实和半事实解释

    研究提出一种新方法 PlausIble Exceptionality-based Contrastive Explanations (PIECE)，用于生成黑匣子 CNN 分类器的可信反事实和半事实，称其比文献中的其他方法生成最可信的反事实和半事实。

    Sep, 2020

  • POMDPs 和可解释的代理的端到端策略梯度方法

    一个 RL 算法，可以通过端到端训练来估算隐藏状态，并将估算可视化为状态转换图。 实验结果表明，该算法可以解决简单的 POMDP 问题，并使代理行为可解释给人类。

    Apr, 2023

  • 强化学习中的反事实解释策略

    通过引入反事实解释，COUNTERPOL 框架能够分析强化学习政策，并找到引导所需结果的政策最小改变，展示其在设计和开发反事实政策方面的实用性。

    Jul, 2023

  • 利用 POMDP 树搜索进行奖励模型调和的解释

    为了提高人们对人工智能系统的信任，本研究致力于调节在线部分可观察马尔可夫决策规划算法的奖励模型与人类用户所假设的奖励模型之间的差异，并通过分析算法与用户之间的差异以估计用户的目标。

    May, 2023

  • 反事实解释的多样性实现：综述和讨论

    本文综述了可解释人工智能（XAI）领域中的对抗事实例，这些例子通过指示对实例进行的修改来解释训练决策模型的预测，以改变其相关预测。同时，本文探讨了可解释人工智能中多元对抗事实例的概念定义，讨论了它们的基本原理以及它们依赖的用户需求的假设，并提出了这方面的进一步研究挑战。

    May, 2023

  • 生成商业流程结果预测的可行和可信的反事实解释

    利用 REVISEDplus 数据驱动方法，通过在高密度区域内生成可行且合理的反事实解释，学习过程案例中活动之间的顺序模式，并评估反事实解释的有效性。

    Mar, 2024

  • 使用 SHAP 生成对照与反事实解释

    本文提出了一种利用 SHAP 理论生成模型互解释性的模型无关方法，能够生成可用于人类理解的对比和反事实解释，并在 IRIS、葡萄酒质量和移动特性数据集上进行测试和分析。

    Jun, 2019