使用决策树评估全局模型解释的人类可理解性
通过运用博弈论、局部特征交互作用效应和全局模型结构,我们实现了对基于树的机器学习模型的高可解释性,应用于三个医疗机器学习问题,在透露模型全局结构的同时保持其基本特征,识别出美国人口中高强度但低频率的非线性死亡风险因素,突显具有共同危险特征的明显人口亚组,识别出慢性肾脏疾病危险因素之间的非线性交互作用效应,并监测在医院部署的机器学习模型(Identifying factors leading to model's performance decay over time)
May, 2019
本文提供了一个实用的评估框架,用于可解释机器学习模型对于临床决策支持的贡献。研究揭示了 ML 解释模型的更加细致的作用,以及将其实用地嵌入临床背景的方法。 该研究发现,尽管医疗保健专业人员普遍对解释持有积极态度,但对于一定比例的参与者来说,存在负面影响,如确认偏差、过度依赖模型和增加与模型的交互的努力。此外,标准的解释模型显示出支持对模型限制进行关键理解的能力有限。但是,我们发现了具有新的显著积极影响的效果,重新定位了临床背景下解释的作用:包括减少自动化偏差、解决模糊的临床案例(医疗保健专业人员对其决策不确定的情况)并支持获取新领域知识的经验不足的医疗保健专业人员。
Apr, 2022
该研究探讨了解释在互动式机器学习系统中的作用,以帮助领域专家检测和解决潜在的数据问题,从而优化模型的效果;结果发现全局模型中心的解释不足以指导用户在数据配置过程中,而数据中心的解释可以提高对系统变化的理解,两种解释类型的混合体效果最佳。
Feb, 2024
本研究提出了一种名为 GALE 的机器学习模型,旨在提供有关模型全局决策过程的洞见。结果表明,聚合方法的选择很重要,我们的提出的聚合方法能更好地代表特征如何影响模型的预测,并通过识别区分性特征提供全局洞见。
Jul, 2019
本文提出了一种支持决策者做出公正的借贷决策的框架,其中包含可解释的机器学习模型、可交互的可视化工具以及三种类型的解释。该框架通过提供全局与个性化的解释获得了 FICO 的认可奖。
Jun, 2021
本文回顾了近期文献,提出了可解释人工智能系统的设计指南以及可解释人工智能领域的规范化贡献。该文章提出了一个框架,以指导选择可解释人工智能方法的类别,进而解释重要属性的相对重要性。同时也发现,尽管定量评价指标对于客观标准化评估很重要,但对于某些属性(如 “清晰度”)和解释类型(如 “基于实例的方法”)仍然缺乏。最终的结论是,可解释建模可以为可信的人工智能做出贡献,但还需要在实践中证明可解释性的好处,并可能需要采取补充措施,例如报告数据质量,进行广泛(外部)验证和监管等措施。
Jul, 2020
使用计算复杂性理论评估机器学习模型的局部和全局解释性,证明了局部和全局解释之间的对偶性以及某些全局解释形式的独特性,并比较了线性模型、决策树和神经网络在计算解释复杂度方面的差异。
Jun, 2024
这篇论文探讨了机器学习模型的可解释性和可解释性,特别是关于本地和全局可解释性以及特征重要性和相关性的方法,并提供了一个完整的 Python 软件包来允许未来的研究人员探索这些产品;根据对严重天气预测和亚冰点路面温度预测的 ML 模型开发的研究, 发现有关特征排名和特征效果的解释方法之间存在显着不一致,并提供建议来处理这些分歧;最后,建议在未来的研究中使用 tree interpreter 方法来探究特征效果。
Nov, 2022
本研究旨在评估两种流行的可解释人工智能方法在医疗保健背景下解释预测模型的精确度,重点考虑是否产生与应用任务相一致的域适当表示,如何影响临床工作流程以及是否一致性,结果表明目前的技术还有改进的空间。
Jun, 2023