校准情况下的模型解释
本文研究了不确定性和可解释性之间的联系,特别是探讨了置信度和解释性之间的关系,发现模型的置信度与我们解释模型的能力有交互作用,并提出了一种简单的实践方法来改善解释结果:调整置信度以提高解释效果。
Jul, 2022
本文提出 CME 方法,结合模型解释来降低非归纳属性的模型信心度,进而提高预测的后验概率校准性能。在六个数据集上的实验表明,该方法提高了所有设置下的校准性能,并在温度缩放的情况下进一步降低了预期校准误差。
Nov, 2022
研究了基于不同特征的人工智能辅助决策场景下,人类对人工智能的信任度与信任度校正,以及人类与人工智能协同工作的影响因素。结果表明,人类信任度的校正能够通过特定的置信度得到有效提高,尽管人类的专业独特知识对于决策的最终结果有良好的辅助作用,但同时也存在着使用本地解释会出现的问题。因此,我们需要探索新的可信度解释方法来更好地衡量和校正人类对人工智能的信任度。
Jan, 2020
该研究探讨了如何通过利用模型行为的解释来改善黑盒模型在新领域中的性能,通过提取由黑盒模型解释技术生成的模型属性与人类直觉相结合的特征,使用一个简单的分类器作为校准器,我们成功地在应用程序方面提高了准确性,并证明了该校准模型在某种程度上在跨任务之间具有普适性。
Oct, 2021
评估可解释性模型的统一框架是该论文的重点,它介绍了各个研究群体对解释性评估的重叠和语义错位,并提出了解释的可行性和可理解性的评估标准,以及基于可解释神经网络的学习行为预测的案例。
May, 2024
该研究通过一个众包实验,探讨解释机器学习模型的预测对人类是否具有帮助,并发现在给定特征系数的情况下,人们能够更有效地对线性词袋模型进行操纵,但解释对 BERT 型分类器并没有显著提高操纵能力,而通过伪造 BERT 模型的线性模型的对全局归属的解释则可以有效地操作 BERT 型模型。
Dec, 2021
提出了一种基于最优化的规则,将线性模型分解为不断增加复杂性的一系列模型,从而为线性模型创建解释,并派生出线性模型的参数化互操作性指标族,研究了解释性和预测准确性之间的权衡。
Jul, 2019
解释性推荐在工业界和学术界近年来备受关注。在推荐系统框架中提供的解释具有多种用途:尤其是解释为什么提供建议和物品与用户个性化偏好的匹配程度。因此,解释在影响用户购买产品方面起着重要作用。然而,这些解释在不同情况下的可靠性还没有严格从经验的角度进行验证。不可靠的解释可能带来强烈的后果,如攻击者利用解释来操纵和引诱用户购买推广的目标物品。本文研究了现有基于特征的可解释性推荐系统的脆弱性,特别是分析了它们在模型参数中增加不同水平的外部噪声下的性能。我们通过分析两个广泛使用的电子商务推荐数据集上训练的三个重要的最新算法进行实验。我们观察到所有可解释性模型都对增加的噪声水平脆弱。实验结果验证了我们的假设,即随着噪声水平的增加,解释推荐的能力确实减弱,尤其是敌对噪声对减弱的影响更大。我们的研究提供了有关推荐系统中稳健解释主题的经验验证,可以推广到不同类型的可解释性推荐系统。
May, 2024
本篇论文探讨了在自然语言处理和推荐任务中推断高质量执行操作和使解释具有可操作性的两个基本挑战,并通过证明解释性不以在两个应用中展示的卓越表现为代价的框架将人工智能应用实践的承诺变为现实。
May, 2022