ICMLJan, 2022

通过反事实轨迹解释强化学习策略

PDF
TL;DR通过展示强化学习代理在更广泛的轨迹分布中的行为，我们的方法可以传达代理在分布转移下的表现，从而有助于代理的有效验证。在用户研究中，我们展示了我们的方法可以使用户在代理验证任务中的得分比基准方法高。
reinforcement learningpolicy interpretabilityagent validationdistribution shiftsuser study
发现论文，激发创造
  • 强化学习中的反事实解释策略

    通过引入反事实解释，COUNTERPOL 框架能够分析强化学习政策，并找到引导所需结果的政策最小改变，展示其在设计和开发反事实政策方面的实用性。

    Jul, 2023

  • GANterfactual-RL: 通过视觉反事实解释理解强化学习智能体的策略

    本论文提出了一种新颖而简单的方法，将问题形式化为域转移问题，使用 StarGAN 等对抗性学习技术来生成 RL 代理的反事实解释，证明该方法在分析不同代理机器人的学习策略时表现最佳。

    Feb, 2023

  • 通过反事实行动结果解释强化学习代理

    提出了一种名为 COViz 的本地解释方法，将代理选择的行为结果与对照行为结果进行可视化比较，并与奖励分解法进行了对比评估，结果显示两种方法的综合利用显著提高了参与者的性能。

    Dec, 2023

  • 使用轨迹解释强化学习决策

    本研究提出了一种基于训练中遇到的轨迹来解释训练好的 RL 代理决策的方法，并通过在离线环境中进行网格世界、视频游戏和连续控制等不同领域的实验，展示了这种方法在可解释性和可扩展性方面的有效性。

    May, 2023

  • 解释学习得到的奖励函数与反事实轨迹

    通过对比原始和反事实的部分轨迹及其各自接收的奖励，我们提出了反事实轨迹解释（CTEs）来解释强化学习中的奖励函数，证明了 CTEs 对代理人模型具有信息量，使其预测与未见轨迹上的奖励函数更加相似，并且在不同分布的示例中具有泛化能力，从而为解释学习的奖励函数提供了一种有效的方法。

    Feb, 2024

  • 序贯决策的假设解释学习

    通过对专家行为的建模和学习，该论文提出了一种可解释的决策制定方法，使用 “假设” 结果的偏好来模拟专家的奖励函数，该方法将反事实推理集成到批量反向强化学习中，能够自然地适应历史记录依赖的环境，同时也满足现实世界决策制定的约束条件。

    Jul, 2020

  • 推理反事实以改善人类逆强化学习

    为了让人类能够很好地与机器人协作，提出了一种包含逆强化学习和演示方法，在选择展示时考虑了人类对机器人决策的预期，使用了一种新的测试难度测量方法，并发现这种方法在易于测试的情况下降低了人类的性能，但在难于测试的情况下增加了性能。

    Mar, 2022

  • 基于预期后果的强化学习对比解释

    本文提出了一种方法，使强化学习代理能够解释其行为，以期实现机器学习模型的透明化。通过将状态和行动转换为易于人类理解的描述，并使用一种可生成解释的格式，进行了计算，结果表明人类用户倾向于关注政策而非单个操作。

    Jul, 2018

  • 强化学习的反事实解释

    通过重新定义反事实解释方法，结合强化学习的特点，探索在强化学习领域实现反事实解释的方法和研究方向。

    Oct, 2022

  • 不良习惯：强化学习中的政策混淆和轨迹外泛化

    在本文中，我们提供了对强化学习代理人的策略混淆现象的数学描述，并通过一系列示例展示了它何时发生以及如何发生。

    Jun, 2023