可解释和可编辑的程序化树策略用于强化学习

May, 2024

可解释和可编辑的程序化树策略用于强化学习

Interpretable and Editable Programmatic Tree Policies for Reinforcement Learning

Hector Kohler, Quentin Delfosse, Riad Akrour, Kristian Kersting, Philippe Preux

TL;DR我们提出了 INTERPRETER，一种快速蒸馏方法，用于生成用于强化学习的可解释可编辑的树程序。我们通过实验证明，我们的树程序在各种顺序决策任务中能够与训练数据匹配，同时评估了我们设计选择对可解释性和性能的影响。我们展示了我们的策略如何被解释和编辑，以纠正目标对齐错误，并解释真实的农业策略。

Abstract

deep reinforcement learning agents are prone to goal misalignments. The black-box nature of their policies hinders the detection and correction of such misalignments, and the trust necessary for real-world deploy

deep reinforcement learning goal misalignments interpretable policies distillation method editable tree programs

发现论文，激发创造

可解释的局部树代理策略

本论文提出一种构建可预测的决策树代替神经网络的方法，决策树易于人类理解，能够量化预测未来行为，从而提高决策的可信度和使用范围。

Sep, 2021

基因编程用于可解释强化学习策略

通过基于遗传编程的模型驱动批量强化学习，我们介绍了 GPRL 方法，可以从现有的默认状态 - 动作轨迹样本中自主学习策略方程，实验数据表明，相较于符号回归方法，GPRL 能够从现有默认轨迹数据中生产高性能，可解释的强化学习策略。

Dec, 2017

可编程可解释强化学习

提出了一种编程可解释性强的强化学习框架 (PIRL)，使用高级领域特定编程语言表示策略，提出了基于神经网络生成的策略的可验证和可解释的替代方案，用基于神经网络的 NDPS 算法来优化 PIRL 策略，这种策略较容易被解释和验证，实验结果证明，与传统的深度强化学习相比，PIRL 策略的轨迹更平滑易于迁移。

Apr, 2018

预测的政策树：机器学习中可解释和自适应的模型选择

通过开发一种树基的方法学，Optimal Predictive-Policy Trees (OP2T)，我们提出了一种规定性方法来解决机器学习模型选择中的关键问题，从而产生可解释的适应性策略以选择预测模型或集成，并具有参数化选项拒绝进行预测。

May, 2024

深度强化学习驱动调度的可解释建模

通过使用可解释性强的决策树模型，我们提出了一个名为 IRL（可解释增强学习）的框架，用于解决深度强化学习在集群调度中缺乏可解释性的问题，并且证明了 IRL 可以在保持相似调度性能的同时将黑盒深度神经网络策略转化为可解释的基于规则的决策树。

Mar, 2024

基于网格的强化学习环境中的通用和可解释知识学习

使用程序合成方法对深度强化学习代理进行模仿，以了解其学习的概念和决策过程。

Sep, 2023

使用解缠树表示来解析神经策略

本文通过设计一种从紧凑神经策略中抽取树形表示的算法，并引入可解释性度量来评估网络对任务动态的发现能力，进一步量化提取决策路径的准确性和计算跨神经元逻辑冲突，成功应用于多种紧凑网络体系结构，并取得了显著的成果。

Oct, 2022

模拟解释：可解释策略学习下的决策理解

了解人类行为以实现决策的透明度和责任感非常重要。我们提出了一种新颖的基于模型的贝叶斯方法进行可解释的政策学习，该方法以数据驱动的方式呈现决策行为，并在偏差的信念更新过程和次优的信念 - 行为映射之间进行联合估计，能够满足透明度、部分可观察性和完全离线操作等关键标准。通过对阿尔茨海默病诊断问题的模拟和真实世界数据的实验，我们展示了我们的方法作为审计、量化和理解人类决策行为的潜力。

Oct, 2023

社会可解释性强化学习

基于社会学习原理的 Social Interpretable RL (SIRL) 是一种改善学习效率的新型基于人口的方法，通过模拟社会学习过程使每个群体中的智能体基于自身的个体经验和与同伴的共同经验来解决给定任务，实现了在高风险场景中解释能力关键的强化学习应用。

Jan, 2024

使用黑盒强化学习实现分类树的最佳可解释性与性能平衡

该论文研究了一种新的 Reinforcement Learning (RL) 框架，证明了只需要解决一个完全可观测的问题就能学习到一个优化可解释性 - 性能平衡的决策树。

Apr, 2023