Jan, 2024

X Hacking: 误导的自动机器学习的威胁

PDF
TL;DR通过介绍 X-hacking 的概念，本文展示了如何使用自动化的机器学习管道来搜索出产生期望解释并保持优越预测性能的 “可辩护” 模型，并将解释和准确性之间的权衡形式化为一个多目标优化问题。在熟悉的真实世界数据集上经验性地说明了 X-hacking 的可行性和严重性。最后，提出了可能的检测和预防方法，并讨论了 XAI 研究的可信度和可复制性的伦理意义。
explainable aiinterpretable machine learningx-hackingshap valuesmulti-objective optimization
发现论文，激发创造
  • 可解释人工智能中的对抗攻击和防御：一项调查

    该论文对 50 多篇与机器学习模型解释袭击和公正性度量有关的研究进行了简要综述，并讨论了如何防御攻击和设计稳健的解释方法。该论文提出了现有 XAI（可解释人工智能）不安全因素的列表，并概述了 Adversarial XAI（AdvXAI）的新兴研究方向。

    Jun, 2023

  • 可解释人工智能在数据驱动系统中的隐私影响

    机器学习模型的不透明性威胁到其可解释性，可解释人工智能（XAI）技术通过提供解释 ML 模型内部决策过程的框架和方法来解决这一挑战，同时维护隐私的难题需要在理解 ML 决策和保护隐私之间找到平衡点。

    Jun, 2024

  • 机器学习模型中的统一解释：一种扰动方法

    面向可解释人工智能（XAI）的高速范式转变已在近年来出现。高度复杂的机器学习（ML）模型在许多智能任务中蓬勃发展，而问题开始从传统的有效性度量转向更深层次的问题：该模型告诉我关于我的数据什么，它是如何得出这些结论的？XAI 和建模技术之间的不一致可能对这些解释性方法的效力产生质疑。为了解决这些问题，我们提出了一种针对流行的 XAI 的模型不可知方法 SHapley Additive exPlanations（Shap）进行系统的扰动分析。我们设计了一些算法，在动态推理的设置下生成相对特征重要性，这些设置针对一套流行的机器学习和深度学习方法，以及允许我们量化静态情况下生成解释的质量的度量指标。我们提出了特征重要性方法论的分类体系，度量了一致性，并观察了几个数据集中解释模型之间的可量化相似性。

    May, 2024

  • 网络安全可解释人工智能调查

    通过对网络系统中的网络驱动安全威胁和问题进行系统分类，本文就网络安全中的可解释人工智能问题进行了回顾和研究，探讨了解释人工智能目前的挑战和局限性，并提出了未来的研究方向。

    Mar, 2023

  • 使用形式化方法证明 XAI 神话 -- 初步结果

    这篇研究论文探讨了可解释人工智能的重要性以及存在的困境和误解，通过形式化方法来反驳这些误解并提出实际有效的替代方法。

    May, 2023

  • 可解释人工智能 (XAI) 中的机遇与挑战：一份调查

    本文介绍了深度学习中可解释人工智能技术（XAI），提出了技术分类法并介绍了方法学、范畴和应用层次等主要原则，旨在建立可信、可解释和自说明的深度学习模型。此外，通过八种不同的可解释人工智能算法对图像数据进行了评估，讨论了这种方法的局限性，并提出了未来改进的潜在方向。

    Jun, 2020

  • 面向网络安全的可解释人工智能：现状、挑战、未解问题和未来方向

    本文综述了可解释人工智能在网络安全领域中的应用，以及传统人工智能技术的挑战和在不同行业和应用中 XAI 的实现。

    Jun, 2022

  • 度量效用、赢得信任：XAI 研究员的实用建议

    机器学习模型解释学（即可解释性 AI）的研究与深度人工神经网络同步呈指数增长，但传统的信任和解释却太狭隘，导致研究社区被误导。该研究提出了一种实用的解决方案，建议研究人员关注机器学习解释的实用性而非信任，提出五种广泛的用例，并为每种情况描述可依靠客观经验测量和可证伪假设的伪实验。该实验严谨的处理方法将对 XAI 领域的科学知识的进一步贡献是必要的。

    Sep, 2020

  • 可解释人工智能分析和设计的多组件框架

    这篇论文讨论了符合科学历史的可解释人工智能 (XAI) 的框架问题，其原因追溯至现代机器学习（尤其是深度和强化学习）和对创造值得信赖的 AI 系统的关注，它的五个级别框架是 XAI 的关键组成部分。

    May, 2020

  • 可解释性方法评估的实验研究

    本文比较了 14 个不同的评估指标在 9 种最先进的 XAI 方法和 3 种用作参考的虚拟方法（如随机显著性图）上的应用结果，结果表明其中一些指标会产生高度相关的结果，还展示了基准超参数变化对评估指标值的显著影响，最后使用虚拟方法评估指标的可靠性及其排名方面的限制。

    May, 2023