使用解缠树表示来解析神经策略

Oct, 2022

Interpreting Neural Policies with Disentangled Tree Representations

Tsun-Hsuan Wang, Wei Xiao, Tim Seyde, Ramin Hasani, Daniela Rus

TL;DR本文通过设计一种从紧凑神经策略中抽取树形表示的算法，并引入可解释性度量来评估网络对任务动态的发现能力，进一步量化提取决策路径的准确性和计算跨神经元逻辑冲突，成功应用于多种紧凑网络体系结构，并取得了显著的成果。

Abstract

compact neural networks used in policy learning and closed-loop end-to-end control learn representations from data that encapsulate agent dynamics and potentially the agent-environment's factors of variation. A f

compact neural networks policy learning end-to-end control interpretability metrics logic programs

发现论文，激发创造

可解释的局部树代理策略

本论文提出一种构建可预测的决策树代替神经网络的方法，决策树易于人类理解，能够量化预测未来行为，从而提高决策的可信度和使用范围。

Sep, 2021

解缠（非）可控特征

本文提出一种表示学习算法，该算法可以将隐含特征分解为可控和不可控两个部分，从而提高表示的可解释性并有效学习和规划。通过在三个不同的环境中展示该算法的分解性质，强调了该方法的优势。

Oct, 2022

可解释和可编辑的程序化树策略用于强化学习

我们提出了 INTERPRETER，一种快速蒸馏方法，用于生成用于强化学习的可解释可编辑的树程序。我们通过实验证明，我们的树程序在各种顺序决策任务中能够与训练数据匹配，同时评估了我们设计选择对可解释性和性能的影响。我们展示了我们的策略如何被解释和编辑，以纠正目标对齐错误，并解释真实的农业策略。

May, 2024

IBMDP 中决策树策略学习的演员 - 评论算法的局限性

AI 模型的可解释性使用户能够建立对这些 AI 的信任。我们展示了通过深度强化学习学习决策树的一个方法，从而通过透明地显示输入的关键特征来实现模型的解释性。

Sep, 2023

解缠对神经网络剪枝的影响

部署深度学习神经网络在边缘设备上，实现真实世界中特定目标，需要减少其内存占用、功耗和延迟。高效模型压缩可以实现这一目标。变分自编码器（VAE）网络产生的解缠缠绕的潜在表示是实现模型压缩的有希望方法，因为它们主要保留了与任务相关的信息，并丢弃了对当前任务无用的信息。我们利用 Beta-VAE 框架结合标准修剪准则，研究了迫使网络学习解缠缠绕表示对于分类任务的修剪过程的影响。具体来说，我们在 MNIST 和 CIFAR10 数据集上进行实验，研究了解缠缠绕的挑战，并为未来的研究提出了一个方向。

Jul, 2023

从神经网络中学习准确且可解释的决策规则集

本文提出了一种新的范式，使用一个可解释的二层神经网络学习一组独立的逻辑规则作为分类的模型，并提出一种基于稀疏性的规则得出算法，相比其他学习算法和黑匣子模型，该方法可以在分类准确性和简单性之间取得更好的平衡。

Mar, 2021

通过迭代局部搜索进行编程策略提取

通过结合模仿投影、数据集聚合和局部搜索启发式，我们提出了一种直接提取预训练神经策略的程序化策略的简单方法，该方法在编程问题和摆动问题上实现了可解释性和高效性。

Jan, 2022

人为引导的复杂度控制抽象

我们通过调整表示分布的熵，训练神经模型生成一系列离散表示，并在微调实验中展示了将表示调整到任务适当复杂度水平支持最高微调性能，并通过离散表示的可视化帮助用户在下游任务中识别适当的复杂度水平，这为利用人类洞察力快速微调模型指明了一个有希望的方向。

Oct, 2023

具有可解释模型和策略网络的神经符号强化学习的三个路径

神经符号人工智能结合经典符号方法的可解释性、简洁性和显式推理与数据驱动神经方法的统计学习。本文在实际强化学习环境中展示了实现此类模型和策略的三个途径，并探讨了逻辑、模拟和学习的潜力和困难，以及与可学习性和可解释性之间的权衡关系。

Feb, 2024

Distill2Explain: 可解释的强化学习能源应用控制器中可微分的决策树

提出了一种使用可解释的决策树来训练数据驱动型控制策略的新方法，用于解锁居住部门在能源灵活性方面的潜力，并展示其在家庭能源管理系统中降低能源成本方面优于基准策略的性能和可解释性。

Mar, 2024