序贯决策的假设解释学习

ICLRJul, 2020

Learning "What-if" Explanations for Sequential Decision-Making

Ioana Bica, Daniel Jarrett, Alihan Hüyük, Mihaela van der Schaar

TL;DR通过对专家行为的建模和学习，该论文提出了一种可解释的决策制定方法，使用 “假设” 结果的偏好来模拟专家的奖励函数，该方法将反事实推理集成到批量反向强化学习中，能够自然地适应历史记录依赖的环境，同时也满足现实世界决策制定的约束条件。

Abstract

Building interpretable parameterizations of real-world decision-making on the basis of demonstrated behavior -- i.e. trajectories of observations and actions made by an expert maximizing some unknown reward function

interpetable parameterizations real-world decision-making reward function counterfactual reasoning inverse reinforcement learning

发现论文，激发创造

离线强化学习的预算对比实验

本文提出了一种采用动态规划和固定点求解的方法，用以控制训练中的数据采样分布并改善数据利用效率，在 D4RL 数据集上表现优于其他已有方法的离线强化学习培训方式。

Jul, 2023

使用深度强化学习学习序列反事实解释的公正策略

在可解释人工智能领域中，使用顺序反事实示例来改变经过训练的分类器的决策是常用的方法。本文针对现有方法的不足提出了使用分类器的输出概率来创建更具信息性的奖励以减轻潜在偏见等问题。

Nov, 2023

强化学习的反事实解释

通过重新定义反事实解释方法，结合强化学习的特点，探索在强化学习领域实现反事实解释的方法和研究方向。

Oct, 2022

决策、反事实解释与战略行为

本文旨在在战略环境下寻找最优的政策和对策解释，包括 NP 难的问题，非降性和子模性，用标准贪心算法获得近似保证。最后，我们表明通过将拟阵约束加入问题的制定中，我们可以提高对策解释的最优集合的多样性，并激励整个人口谱上的个体自我改进。

Feb, 2020

对策说明的随机优化

通过提出一种基于随机学习的框架和特征选择模块来平衡反事实解释的权衡，本研究在生成可行的反事实解释方面展现了其有效性，并表明其比基线更加多样化和高效。

Sep, 2022

强化学习中的反事实解释策略

通过引入反事实解释，COUNTERPOL 框架能够分析强化学习政策，并找到引导所需结果的政策最小改变，展示其在设计和开发反事实政策方面的实用性。

Jul, 2023

不确定情况下的序列决策中的反事实解释

本文提出了一种基于马尔可夫决策过程和 Gumbel-Max 结构因果模型的动态规划算法寻找决策过程中的反事实解释来优化决策，并在认知行为治疗的合成和真实数据上进行了验证。

Jul, 2021

强化学习的经验性解释

通过 Experiential Explanations 生成局部反事实解释来帮助解释强化学习代理的决策，利用影响预测模型来恢复失去的关于策略如何反映环境的情境信息，并在人类评估研究中实现了更高的正确预测率和更高的解释实用性。

Oct, 2022

推理反事实以改善人类逆强化学习

为了让人类能够很好地与机器人协作，提出了一种包含逆强化学习和演示方法，在选择展示时考虑了人类对机器人决策的预期，使用了一种新的测试难度测量方法，并发现这种方法在易于测试的情况下降低了人类的性能，但在难于测试的情况下增加了性能。

Mar, 2022

通过反事实轨迹解释强化学习策略

通过展示强化学习代理在更广泛的轨迹分布中的行为，我们的方法可以传达代理在分布转移下的表现，从而有助于代理的有效验证。在用户研究中，我们展示了我们的方法可以使用户在代理验证任务中的得分比基准方法高。

Jan, 2022