黑盒概念学习模型的优势和风险

Jun, 2021

Promises and Pitfalls of Black-Box Concept Learning Models

Anita Mahinpei, Justin Clark, Isaac Lage, Finale Doshi-Velez, Weiwei Pan

TL;DR介绍了一种中间嵌入概念学习的机器学习模型，其预测性能可以和黑盒预测模型相媲美，但是这些模型学习到的概念表示却可能包含超越预定义概念所能描述的信息，进而导致预测解释存在误导性，研究探讨了信息泄漏的机理，并建议了有效的应对方法。

Abstract

machine learning models that incorporate concept learning as an intermediate step in their decision making process can match the performance of black-box predictive models while retaining the ability to explain o

machine learning concept learning black-box predictive models interpretation information leakage

发现论文，激发创造

超越概念瓶颈模型：如何使黑箱可干预？

介绍了一种在已经训练好但不可解释的神经网络上进行基于概念的干预的方法，并将模型的可干预性定义为评估基于概念的干预效果的度量，通过对模型进行微调来改进干预效果并提高预测的校准性。实验结果表明，精调黑盒模型能够在干预效果上与概念瓶颈模型相媲美且更高性能。

Jan, 2024

逆向工程黑盒神经网络

研究表明，通过一系列查询可以暴露神经网络的架构、优化程序或训练数据等属性，因此黑匣子神经网络更容易受到各种攻击，但该技术也可以用于更好地保护个人隐私。

Nov, 2017

黑匣子的语义学：知识图谱是否有助于使深度学习系统更具解释性和可解释性？

该论文展示了知识图谱注入的深度学习方法，并讨论了这种方法对当前自然语言处理在医疗和教育领域中的可解释性和可解释性的基本差异。

Oct, 2020

利用人类反馈学习可解释的基于概念的模型

提出了一种透明的机器学习模型学习方法，使用用户的反馈来标记概念特征，从而生成透明的概念定义，以提高模型的可解释性和预测性能。

Dec, 2020

如何欺骗你？通过误导性黑盒解释来操纵用户的信任

本文旨在探究黑匣子机器学习模型中可能导致误导性解释并如何通过这些解释操纵用户信任，通过用户研究和理论框架展示了这些解释对用户的误导性，并提出了一种新的理论框架来理解和生成这些解释。

Nov, 2019

通过有意义的扰动提供黑匣子的可解释性解释

该研究提出了一种适用于任何黑盒机器学习算法的通用解释框架，并将其特化以找到对分类器决策最负责的图像部分。该方法是模型无关且可测试的，因为它基于明确且可解释的图像扰动。

Apr, 2017

黑盒决策系统的本地基于规则的解释

本文提出了一种名为 LORE 的黑匣子探明方法，能够从逻辑和反事实规则两个层面解释黑匣子机器学习模型的决策原因，从而提高其在社会敏感和安全关键环境中的可用性和透明度。

May, 2018

DiffExplainer: 通过反事实生成揭示黑匣子模型

通过生成对抗图像，我们提出了一种方法来揭示影响黑盒模型的决策的关键特征，以提高医学图像分类中深度学习模型的可靠性。

Jun, 2024

概念瓶颈模型是否学习预期所得？

研究发现概念瓶颈模型很难满足解释性、可预测性和干预性三个目标，使用事后可解释性方法证明概念与输入空间中任何语义上有意义的东西都不对应，因此质疑概念瓶颈模型在目前形式下的实用性。

May, 2021

概念嵌入模型：超越准确性和可解释性的平衡

该研究提出了一种新的概念限制模型 —— 概念嵌入模型，学习解释性高维概念表示，支持人类干预和提高模型性能，这是一个在真实世界条件下优化准确性、鲁棒性和解释能力之间权衡的方案。

Sep, 2022