模型解释性的神话

ICMLJun, 2016

The Mythos of Model Interpretability

Zachary C. Lipton

TL;DR本文探讨了监督机器学习模型的解释能力，发现解释能力的动机与方法存在多样性和不一致性，因此提出了透明度与后期解释等多种方法，并怀疑线性模型易于解释而深度神经网络不易解释这一流行观点。

Abstract

supervised machine learning models boast remarkable predictive capabilities. But can you trust your model? Will it work in deployment? What else can it tell you about the world? We want models to be not only good, but interpretable. And yet the task of interpretation appears underspeci

supervised machine learning interpretability model properties transparency deep neural networks

发现论文，激发创造

操纵与测量模型可解释性

在高风险领域中，机器学习模型已经被广泛用于辅助决策，而开发可解释的模型的兴趣逐渐增加。然而，是否这些模型能实现预期的效果，我们缺乏实验研究来证明。本研究开展了一系列预先注册的实验，展示了具有不同要素的模型，以调查它们的可解释性。结果表明，模型越透明、特征越少，参与者越能成功地模拟模型的预测，但是参与者并没有更加倾向于紧密关注其预测，而拥有透明的模型却使参与者因信息过载难以检测和修正模型的重大错误。这些结果强调了开发可解释模型时实验测试的重要性。

Feb, 2018

机器学习中的可解释性：与解释性、预测性能和模型的相互作用

最近，解释性已经引起了机器学习领域的关注，因为在关键决策或故障排除时至关重要。本文阐述了解释性的关系，即与机器学习中的重要概念（如可解释性，预测性能和机器学习模型）的关系，以澄清对解释性存在的一些误解。

Nov, 2023

机器学习的模型无关可解释性

机器学习中的可解释性问题已经成为一个重要的关注点，本文提出使用模型无关的方法解释机器学习预测，这种方法可以提供选择模型、解释和表示的灵活性，同时改善了调试、比较和用户接口等问题，同时回顾了最近引入的模型无关的解释方法 LIME 及其面临的主要挑战。

Jun, 2016

可解释的深度学习：解释、可解释性、可信度及其他

本文综述了神经网络的解释工具和算法，提出了一种新的分类方法，介绍了解释结果的评估方法和信任度算法的应用，讨论了深度模型解释与鲁棒性和借鉴解释的联系，并介绍了一些开源库。

Mar, 2021

模型可解释性的人类评估的挑战与机遇

本文提出了 “描述性解释” 和 “说服性解释” 的区别，讨论了功能解释与认知功能和用户偏好可能相关的推理，并提出了两个研究方向来消除认知功能和解释模型之间的歧义，保持准确性和可解释性之间的权衡控制。

Nov, 2017

可解释性的代价

本文提出一个基于数学框架的方法，构建以逐步可解释的模型。我们演示了应用于实际和合成数据集的实用算法，并定量化了 “可解释性” 的 “价格” 与预测准确性的权衡。

Jul, 2019

可解释机器学习的严格科学探索

该研究论文旨在对可解释的机器学习进行定义和分类，并提出了一种更严谨的可解释机器学习科学评估方法的问题。

Feb, 2017

可解释机器学习技术

本文综述了提高可解释机器学习模型的技术，并讨论了未来研究的关键问题，如设计用户友好的解释和开发全面的评估指标，以进一步推动可解释机器学习的发展。

Jul, 2018

机器学习的因果可解释性：问题、方法和评估

本文综述了因果可解释模型的问题和方法，并深入探讨了用于衡量解释度的评估度量标准，从而帮助实践者了解每种评估度量标准适用于哪些场景。

Mar, 2020

可解释的机器学习：定义、方法和应用

该研究呈现了机器学习的可解释性与 PDR 框架，探讨了现有解释方法的分类与优劣评估，提供了实际案例并讨论了未来研究方向。

Jan, 2019