Jan, 2024

再探常识性检查：修复模型参数的随机化测试

PDF
TL;DR通过引入 Smooth MPRT 和 Efficient MPRT 两种改进方法，本文提出了对 Model Parameter Randomisation Test (MPRT) 进行适应的新方法，以改善评估结果的可靠性，从而实现对 eXplainable Artificial Intelligence（XAI）方法的更可信赖的应用。
model parameter randomisation testexplainable artificial intelligencesmooth mprtefficient mprtxai methods
发现论文，激发创造
  • 审视显著图的常规检查

    我们提出了两种对原始测试的修改：平滑 MPRT 和高效 MPRT。前者通过采样减少噪声对评估结果的影响，后者通过完全模型随机化后解释复杂性的增加来避免对相似性测量的有偏倚需求。我们的实验证明这些修改提高了度量信度，更可靠地部署解释方法。

    May, 2024

  • 您能相信您的解释吗？特征归因方法的健壮性测试

    评估对非敌对扰动的稳健性并分析神经网络和表格数据集上应用的可解释 AI 方法的稳健性，展示如何利用流形假设和集成方法对稳健性进行深入分析。

    Jun, 2024

  • 机器学习模型中的统一解释：一种扰动方法

    面向可解释人工智能（XAI）的高速范式转变已在近年来出现。高度复杂的机器学习（ML）模型在许多智能任务中蓬勃发展，而问题开始从传统的有效性度量转向更深层次的问题：该模型告诉我关于我的数据什么，它是如何得出这些结论的？XAI 和建模技术之间的不一致可能对这些解释性方法的效力产生质疑。为了解决这些问题，我们提出了一种针对流行的 XAI 的模型不可知方法 SHapley Additive exPlanations（Shap）进行系统的扰动分析。我们设计了一些算法，在动态推理的设置下生成相对特征重要性，这些设置针对一套流行的机器学习和深度学习方法，以及允许我们量化静态情况下生成解释的质量的度量指标。我们提出了特征重要性方法论的分类体系，度量了一致性，并观察了几个数据集中解释模型之间的可量化相似性。

    May, 2024

  • 可解释性方法评估的实验研究

    本文比较了 14 个不同的评估指标在 9 种最先进的 XAI 方法和 3 种用作参考的虚拟方法（如随机显著性图）上的应用结果，结果表明其中一些指标会产生高度相关的结果，还展示了基准超参数变化对评估指标值的显著影响，最后使用虚拟方法评估指标的可靠性及其排名方面的限制。

    May, 2023

  • 机器学习研究的推断可再现性

    本研究探讨了机器学习模型评估的可靠性，提出了使用线性混合效应模型的方法，以分析性能评估分数，并使用广义似然比检验进行统计推断。同时，本文还探讨了数据属性与算法噪声因素之间的相互作用，以及噪声源对整体方差的贡献和可靠性系数的计算方法。

    Feb, 2023

  • 定量评估显著性方法：实验研究

    本文基于对解释人工智能（XAI）的准确定义和公正衡量标准缺失的讨论，提出了一种广泛的实验研究，重点关注解释方法的忠实度、本地化、假阳性、敏感度检查和稳定性。实验结果表明，在当前所有方法中，梯度加权类激活映射（Grad-CAM）和随机输入抽样解释（RISE）在大多数指标上表现良好。另外，本文还提出了一种筛选指标的方法，以诊断模型分类基础，并探讨了当前指标所忽略的测量因素。

    Dec, 2020

  • 可解释人工智能中的元评估问题：使用 MetaQuantus 识别可靠评估器

    本文提出了一个元评估框架 MetaQuantus，以较可靠的方式鉴别不同解释质量度量方法在特定的解释情境下的性能，包括其对噪声的鲁棒性和对随机性的反应性，并通过一系列实验展示了其有效性。该工具可用于验证和基准测试新建构的度量衡，从而为建立可靠的方法提供清晰的、理论上的指导，以促进 Explainable AI 领域中的标准化和可重复性。

    Feb, 2023

  • 解释不确定性的合理性检查

    在本文中，我们提出了用于不确定性解释方法的合理性检查方法，其中定义了用于不确定性解释的权重和数据随机化测试，可以快速测试不确定性和解释方法的组合。我们在 CIFAR10 和 California Housing 数据集上进行了实验证明了这些测试的有效性，并注意到 Ensembles 似乎始终通过 Guided Backpropagation、Integrated Gradients 和 LIME 解释这两个测试。

    Mar, 2024

  • 度量效用、赢得信任：XAI 研究员的实用建议

    机器学习模型解释学（即可解释性 AI）的研究与深度人工神经网络同步呈指数增长，但传统的信任和解释却太狭隘，导致研究社区被误导。该研究提出了一种实用的解决方案，建议研究人员关注机器学习解释的实用性而非信任，提出五种广泛的用例，并为每种情况描述可依靠客观经验测量和可证伪假设的伪实验。该实验严谨的处理方法将对 XAI 领域的科学知识的进一步贡献是必要的。

    Sep, 2020

  • XRand：差分隐私防御解释引导攻击

    该研究介绍了一个叫做 XRand 的新的机制来保护基于特征的解释不被恶意利用，该机制使用局部差分隐私来限制攻击者对重要特征的了解。

    Dec, 2022