解释的普适性
本文系统地定义了评估 interpretable machine learning 方法的问题,并全面回顾了现有工作。作者提出了三个方面的解释(即泛化性、准确性和说服性),并分别回顾了不同任务下的代表性方法,设计了一个统一的评估框架,用于实践中的不同场景。
Jul, 2019
通过用户研究,本研究评估了可解释人工智能在实际场景中对人类决策的改进效果,结果发现虽然解释有助于用户更准确地描述模型,但对于模型选择和反事实模拟这两个任务,并没有找到使用任何显著改进的证据,这表明对基于显著性的解释的实用性和可能的误解需要谨慎对待。
Dec, 2023
本文提出了一组用于评估神经网络解释方法客观性的标准,设计了四个度量标准来评估解释结果(即没有真实解释数据情况下),并对九种基准解释方法进行了广泛应用,从而提供了解释方法的新见解。
Nov, 2019
对于局部模型无关解释的评估方法,以鲁棒性、基于合成数据集和可解释模型的地面真实性评估、模型随机化和人为评估为分类,本研究提出了一种新的评估分类方法并指出除了基于可解释模型的地面真实性评估外,其他评估方法都存在 “责怪问题”。然而,即使是基于可解释模型的地面真实性评估方法仍存在一定的局限性,局部解释的评估仍然是一个未解决的研究问题。
Oct, 2023
本文探讨了一些适用于 CNN 文本分类的模型无关和模型特定解释方法,并进行了三次人类评估来揭示这些方法揭示模型行为、证明模型预测和帮助人类调查不确定预测的不同效果。结果表明,这些方法具有不同的性质,并且可以为每个目的提供帮助。
Aug, 2019
评估可解释性模型的统一框架是该论文的重点,它介绍了各个研究群体对解释性评估的重叠和语义错位,并提出了解释的可行性和可理解性的评估标准,以及基于可解释神经网络的学习行为预测的案例。
May, 2024
本文针对机器学习中可解释性的问题进行了研究,提出了一组度量用于评估不同的可解释性方法,进而解决了目前仅仅依靠定性分析和用户研究来评估不同解释性方法的缺陷。在实验中,通过对不同的基准任务进行验证,并展示如何使用这些度量指导实践者选择最合适的方法,进一步阐述了基准任务、特征提取器和解释性方法之间的概念关系。
Jul, 2020
研究神经网络的预测可视化解释,并评价这些解释的好坏。其中,绝大多数评价方法使用 ImageNet-1k 和人工检测评估结果,结果表明评价方法之间缺乏一致性。同时,解释的稀疏性对评价方法的表现具有显著影响。
Feb, 2023
通过文献调研和元分析,我们建议采用适当的信任作为衡量主观评价标准结果的标准,并提出了一个解释质量方面的模型,其中类似定义的标准被分组,并与三个识别出的质量方面相关联:模型、解释和用户。最后我们提出了一个包含四个常用标准(群)的模型,涵盖了解释质量的所有方面:性能、适当的信任、解释满意度和忠实度。该模型可以作为比较评估的图表,以创建更具可推广性的解释质量研究。
Mar, 2022