操纵与测量模型可解释性

Feb, 2018

Manipulating and Measuring Model Interpretability

Forough Poursabzi-Sangdeh, Daniel G. Goldstein, Jake M. Hofman, Jennifer Wortman Vaughan, Hanna Wallach

TL;DR在高风险领域中，机器学习模型已经被广泛用于辅助决策，而开发可解释的模型的兴趣逐渐增加。然而，是否这些模型能实现预期的效果，我们缺乏实验研究来证明。本研究开展了一系列预先注册的实验，展示了具有不同要素的模型，以调查它们的可解释性。结果表明，模型越透明、特征越少，参与者越能成功地模拟模型的预测，但是参与者并没有更加倾向于紧密关注其预测，而拥有透明的模型却使参与者因信息过载难以检测和修正模型的重大错误。这些结果强调了开发可解释模型时实验测试的重要性。

Abstract

With machine learning models being increasingly used to aid decision making even in high-stakes domains, there has been a growing interest in developing interpretable models. Although many supposedly

machine learning models interpretable models experimental studies features transparency

发现论文，激发创造

机器学习的模型无关可解释性

机器学习中的可解释性问题已经成为一个重要的关注点，本文提出使用模型无关的方法解释机器学习预测，这种方法可以提供选择模型、解释和表示的灵活性，同时改善了调试、比较和用户接口等问题，同时回顾了最近引入的模型无关的解释方法 LIME 及其面临的主要挑战。

Jun, 2016

模型解释性的神话

本文探讨了监督机器学习模型的解释能力，发现解释能力的动机与方法存在多样性和不一致性，因此提出了透明度与后期解释等多种方法，并怀疑线性模型易于解释而深度神经网络不易解释这一流行观点。

Jun, 2016

可解释机器学习技术

本文综述了提高可解释机器学习模型的技术，并讨论了未来研究的关键问题，如设计用户友好的解释和开发全面的评估指标，以进一步推动可解释机器学习的发展。

Jul, 2018

机器学习中的可解释性：与解释性、预测性能和模型的相互作用

最近，解释性已经引起了机器学习领域的关注，因为在关键决策或故障排除时至关重要。本文阐述了解释性的关系，即与机器学习中的重要概念（如可解释性，预测性能和机器学习模型）的关系，以澄清对解释性存在的一些误解。

Nov, 2023

对解释的人类可解释性评估

研究探讨了通过对模拟响应、验证建议响应、确定建议响应的正确性并观察其输入变化等三项特定任务，来解释可解释的 AI 的互动可能。结果表明，特定的正则化可以用于优化可解释性，而一些共同点和设计原则也可能存在于解释的系统之间。我们的结果表明，认知块比变量重复更影响表现，并且这些趋势在任务和领域中保持一致。

Jan, 2019

可解释性的代价

本文提出一个基于数学框架的方法，构建以逐步可解释的模型。我们演示了应用于实际和合成数据集的实用算法，并定量化了 “可解释性” 的 “价格” 与预测准确性的权衡。

Jul, 2019

机器学习的因果可解释性：问题、方法和评估

本文综述了因果可解释模型的问题和方法，并深入探讨了用于衡量解释度的评估度量标准，从而帮助实践者了解每种评估度量标准适用于哪些场景。

Mar, 2020

模型提取实现可解释性

这篇论文提出一种名为模型抽取的方法，通过构建一个可解释程度更高的模型来近似黑箱模型，从而理解和调试机器学习模型在各种数据集上训练的结果，并在经典强化学习问题中学习控制策略。

Jun, 2017

有意义的模型：利用概念结构提高机器学习的可解释性

本文探讨如何利用概念和意义的构建方式来创建更易理解的机器学习模型，通过提出分类概念的新方法，即 “形式” 和 “功能”，阐明了意义的本质，并提出了提高模型可理解性的建议。

Jul, 2016

模型可解释性的人类评估的挑战与机遇

本文提出了 “描述性解释” 和 “说服性解释” 的区别，讨论了功能解释与认知功能和用户偏好可能相关的推理，并提出了两个研究方向来消除认知功能和解释模型之间的歧义，保持准确性和可解释性之间的权衡控制。

Nov, 2017