模型提取实现可解释性
机器学习中的可解释性问题已经成为一个重要的关注点,本文提出使用模型无关的方法解释机器学习预测,这种方法可以提供选择模型、解释和表示的灵活性,同时改善了调试、比较和用户接口等问题,同时回顾了最近引入的模型无关的解释方法 LIME 及其面临的主要挑战。
Jun, 2016
在高风险领域中,机器学习模型已经被广泛用于辅助决策,而开发可解释的模型的兴趣逐渐增加。然而,是否这些模型能实现预期的效果,我们缺乏实验研究来证明。本研究开展了一系列预先注册的实验,展示了具有不同要素的模型,以调查它们的可解释性。结果表明,模型越透明、特征越少,参与者越能成功地模拟模型的预测,但是参与者并没有更加倾向于紧密关注其预测,而拥有透明的模型却使参与者因信息过载难以检测和修正模型的重大错误。这些结果强调了开发可解释模型时实验测试的重要性。
Feb, 2018
本文提出增强学习可用于学习不同用户可解释的模型,由此建立他们对机器学习模型的信任。通过与医生交互,基于神经网络模型,设计了一个基于强化学习的临床决策支持系统,结果表明,机器学习专家无法准确预测哪个系统输出将最大化临床医生对底层神经网络模型的信心,这些结果对将来机器学习可解释性研究以及机器学习在医学中的应用都具有广泛的意义。
Nov, 2018
本文综述了神经网络的解释工具和算法,提出了一种新的分类方法,介绍了解释结果的评估方法和信任度算法的应用,讨论了深度模型解释与鲁棒性和借鉴解释的联系,并介绍了一些开源库。
Mar, 2021
研究探讨了通过对模拟响应、验证建议响应、确定建议响应的正确性并观察其输入变化等三项特定任务,来解释可解释的 AI 的互动可能。结果表明,特定的正则化可以用于优化可解释性,而一些共同点和设计原则也可能存在于解释的系统之间。我们的结果表明,认知块比变量重复更影响表现,并且这些趋势在任务和领域中保持一致。
Jan, 2019
基于深度学习的解释性可视化方法在人工智能领域日益被重视,本文总结了目前解释深度学习模型的最新发展,并提出两种解释预测的方法,并将这些方法用于三个分类任务中进行评估。
Aug, 2017