Aug, 2023

能否达成一致？论罗生门效应与事后可解释人工智能的可靠性

PDF
TL;DR在 Rash\=omon 效应的样本集中，本研究使用 SHAP 对模型的解释进行了影响样本大小的研究。在 5 个公共数据集上的实验显示，随着样本量的增加，解释逐渐趋于一致。少于 128 个样本的解释具有很高的变异性，限制了可靠的知识提取。然而，随着数据增加，不同模型之间的一致性得到了提高，使得达成共识成为可能。集成方法通常具有更高的一致性。这些结果为信任解释提供了指导。低样本数量时的变异性意味着没有验证可能导致结论的不可靠性。还需要更多关于模型类型、数据领域和解释方法方面的研究。检验神经网络和特定模型解释方法的收敛性将具有重大的影响。所探讨的方法为从模糊模型中获取知识提供了原则性的技术。
rash\=omon effectsample sizeexplanationsreliable knowledge extractionconvergence
发现论文，激发创造
  • 解释性机器学习中罗生门效应的实证评估

    本研究分析了 Rashomon 效应对可解释机器学习的影响，提供了三种不同比较场景的统一视角，并在不同数据集、模型、归因方法和指标上进行了定量评估，结果发现超参数调整和指标选择对结果有实质影响，并为科学家和实践者带来挑战。

    Jun, 2023

  • 高效勘探规则集模型的拉肖蒙集合

    本研究提出了一种高效的方法，可在有限的搜索中探索具有或不具有穷尽搜索的规则集模型的 Rashomon 集合。广泛的实验证明了所提方法在各种情况下的有效性。

    Jun, 2024

  • 背景数据规模对用于深度学习模型的 SHapley Additive exPlanations（SHAP）稳定性的实证研究

    本文针对使用 SHAP 方法解释人工神经网络的过程中背景数据对结果的影响进行了实证研究，在使用不同大小的随机采样背景数据时，SHAP 的解释结果会产生波动，但随着样本数量的增加，这种波动会逐渐减小，同时 SHAP 稳定性评估中出现了 U 形曲线，说明 SHAP 在对最重要和最不重要的变量进行排序时更加可靠。因此，用户在使用 SHAP 方法进行解释时需要注意背景数据对结果的影响。

    Apr, 2022

  • 机器学习模型中的统一解释：一种扰动方法

    面向可解释人工智能（XAI）的高速范式转变已在近年来出现。高度复杂的机器学习（ML）模型在许多智能任务中蓬勃发展，而问题开始从传统的有效性度量转向更深层次的问题：该模型告诉我关于我的数据什么，它是如何得出这些结论的？XAI 和建模技术之间的不一致可能对这些解释性方法的效力产生质疑。为了解决这些问题，我们提出了一种针对流行的 XAI 的模型不可知方法 SHapley Additive exPlanations（Shap）进行系统的扰动分析。我们设计了一些算法，在动态推理的设置下生成相对特征重要性，这些设置针对一套流行的机器学习和深度学习方法，以及允许我们量化静态情况下生成解释的质量的度量指标。我们提出了特征重要性方法论的分类体系，度量了一致性，并观察了几个数据集中解释模型之间的可量化相似性。

    May, 2024

  • 拉什莫曼集助于医疗数据解释的探索

    该论文介绍了一种新的过程，用于探索 Rashomon 集合模型，并延伸传统的建模方法。其核心是通过引入 Rashomon_DETECT 算法来识别 Rashomon 集合中的最不同模型，该算法比较揭示预测依赖于变量值的配置文件，以量化模型之间的变量效果差异，进而展示了该方法在预测医学数据中的有效性和多功能性。

    Aug, 2023

  • 不平衡分类中平衡方法的拉细幕效应实验研究

    通过 Rashomon 效应研究平衡方法对预测多样性的影响，发现平衡方法会增加预测多样性并产生不同结果。为了在建模过程中负责任地监控性能和预测多样性之间的权衡，我们提出使用扩展性能增益图进行模型选择。

    Mar, 2024

  • 您能相信您的解释吗？特征归因方法的健壮性测试

    评估对非敌对扰动的稳健性并分析神经网络和表格数据集上应用的可解释 AI 方法的稳健性，展示如何利用流形假设和集成方法对稳健性进行深入分析。

    Jun, 2024

  • 如何验证事后解释方法？你能信赖解释吗？

    为了让人工智能系统得到广泛的公众认可，我们必须开发能够解释黑匣子模型（如神经网络）决策的方法。

    Oct, 2019

  • 简化模型之路始于噪声

    在本研究中，我们探讨了数据生成过程中的机制以及分析师在学习过程中做出的选择，以确定 Rashomon 比率的大小。我们证明了更嘈杂的数据集通过从业者训练模型的方式导致较大的 Rashomon 比率。此外，我们还引入了一种称为模式多样性的度量，该度量捕捉了 Rashomon 集中不同分类模式之间的平均预测差异，并解释了它为什么会随着标签噪声的增加而增加。我们的结果解释了为什么简单模型在复杂且有噪声的数据集上通常能和黑盒子模型表现一样好的一个关键因素。

    Oct, 2023

  • 弱学习器解释的组合以提高随机森林的解释和鲁棒性

    通过组合弱学习者解释的鉴别平均值，可以提高集成方法中解释的鲁棒性。该方法利用后续的 SHAP 方法和随机森林集成进行实施和测试，并取得了成功的结果。通过定量测量获得的改进，并提供了一些关于集成方法中可解释性鲁棒性的见解。

    Feb, 2024