本文提出 CME 方法,结合模型解释来降低非归纳属性的模型信心度,进而提高预测的后验概率校准性能。在六个数据集上的实验表明,该方法提高了所有设置下的校准性能,并在温度缩放的情况下进一步降低了预期校准误差。
Nov, 2022
该研究通过一个众包实验,探讨解释机器学习模型的预测对人类是否具有帮助,并发现在给定特征系数的情况下,人们能够更有效地对线性词袋模型进行操纵,但解释对 BERT 型分类器并没有显著提高操纵能力,而通过伪造 BERT 模型的线性模型的对全局归属的解释则可以有效地操作 BERT 型模型。
Dec, 2021
本研究介绍了学习基于人类解释的方法,并比较了使用不同解释类型和机制的不同方法,以帮助从业者选择特定用例的最佳方法。
Apr, 2022
本文研究了在校准背景下,使用关注力分布实现模型解释性的难点,发现没有校准的模型使用关注力分布的方式实现解释性是不稳定的,这引发了关于关注力在可解释性中的实用性的疑问。
Jun, 2019
透明方法和不透明方法是解释黑盒的两个主要方法家族。实证证据表明,不透明方法在应用中可能会增加复杂性,而没有显著的性能增益,从而引发了关于使用另一个黑盒解释黑盒的问题的讨论。
Apr, 2024
这篇论文研究了解释数据对于模型效能的影响,利用回收法证明了推理为主的文本输入任务中,解释数据可用作模型输入,且采用检索式的建模方法可以使合成任务的准确率达到 95%,而无解释数据的基线准确率低于 65%。
Feb, 2021
这篇论文探讨了在人工智能中黑盒模型的广泛应用,加强了揭示这些模型是如何做出决策的需求,首先提出一种基于返回信息类型的解释方法分类,展示最近和广泛使用的解释器,通过视觉比较和定量基准测试进行展示。
通过在 NLP 领域中使用具有自由文本理性化功能的对话系统,研究人员对 NLP 任务进行了改进,并通过评估模型性能和用户研究,证明了理性化和特征归因在解释模型行为方面的有效性。
Oct, 2023
该论文关注机器学习中可解释性问题,侧重于简化模型的构建及不同形式的解释与说明,并探讨了机器学习在处理该问题时的广义视角。
Nov, 2018
通过用户研究,本研究评估了可解释人工智能在实际场景中对人类决策的改进效果,结果发现虽然解释有助于用户更准确地描述模型,但对于模型选择和反事实模拟这两个任务,并没有找到使用任何显著改进的证据,这表明对基于显著性的解释的实用性和可能的误解需要谨慎对待。
Dec, 2023