Jan, 2024

分析开放存储库中 AI 视觉模型在对抗攻击下的质量属性

PDF
TL;DR我们提出了一个集成的过程，用于验证 AI 模型的准确性、评估其鲁棒性以及比较解释效用，并展示了六种计算机视觉模型在不同扰动和 XAI 方法下的评估结果。
ai modelsquality assurance validationadversarial attacksxaicomputer vision models
发现论文，激发创造
  • 可解释人工智能中的对抗攻击和防御：一项调查

    该论文对 50 多篇与机器学习模型解释袭击和公正性度量有关的研究进行了简要综述，并讨论了如何防御攻击和设计稳健的解释方法。该论文提出了现有 XAI（可解释人工智能）不安全因素的列表，并概述了 Adversarial XAI（AdvXAI）的新兴研究方向。

    Jun, 2023

  • 您能相信您的解释吗？特征归因方法的健壮性测试

    评估对非敌对扰动的稳健性并分析神经网络和表格数据集上应用的可解释 AI 方法的稳健性，展示如何利用流形假设和集成方法对稳健性进行深入分析。

    Jun, 2024

  • 基于 XAI 的对抗攻击检测深伪检测器

    使用 XAI 作为一种新方法，通过生成可解释性地图来识别对深度伪造检测器的对抗攻击，进而开发出一种具有防御性的深度伪造检测器。

    Mar, 2024

  • 计算机视觉中基于归因的可解释 AI 方法综述

    本文对计算机视觉中基于归因的 Explainable AI (XAI) 方法进行了全面概述，并回顾了梯度、扰动和对比方法，提供了开发和评估强健 XAI 方法的关键挑战的见解。

    Nov, 2022

  • 基于可解释人工智能的消融研究分析

    针对可解释人工智能 (XAI) 方法缺乏基础事实的问题，研究人员提出了基于公理的方法，通过削弱输入属性的重要性来评估模型性能是否符合期望；本文则使用五个数据集，三种 XAI 方法，四个基线和三个扰动方案，展示了不同的扰动策略在验证过程中的作用，以及在后跑解释和去除研究中一个新的分类变量处理技术，并识别 XAI 方法和可行的脱敏方案的实用基线。

    Jul, 2022

  • 解析 AI 归因方法的精确基准测试

    我们提出了一种新的评估方法，用于基准测试最先进的可解释 AI 归因方法，该方法由合成的分类模型及其衍生的地面实况解释组成，该方法提供了关于 XAI 方法输出的更深入的洞察。

    Aug, 2023

  • 揭示神经网络在参数学习和防御中的漏洞与对抗解释感知后门

    通过统计分析卷积神经网络中的权重变化，我们设计了一种方法来防御现代可解释性对抗攻击，成功率下降了 99%，原始解释和防御后（攻击后）解释的均方误差减少了 91%。

    Mar, 2024

  • 时间序列 XAI 评估技术中的扰动深入分析

    本文提供了一个使用扰动分析方法来评估从时间序列模型中提取出的指标的策略，以此来有效评估评估指标质量和提供洞见，从而指导时间序列数据中的 XAI 方法的选择，例如关注回报时间而不是精度，并促进更可靠和可解释的机器学习模型的开发。

    Jul, 2023

  • 深度伪造检测模型的可解释人工智能评估的对抗攻击方法

    通过实验证明通用的插入 / 删除解释型人工智能（XAI）评估方法并不适用于深伪造检测模型，并提出并实现了一种专门适用于深伪造检测模型的 XAI 评估方法。

    Dec, 2023

  • 图像活动预测及其自然语言解释的黑盒攻击

    解释性人工智能 (XAI) 方法旨在描述深度神经网络的决策过程。本文首次评估基于自我合理化的图像识别模型生成的自然语言解释在黑盒攻击下的鲁棒性，我们通过对预测结果和相应解释之间的关联进行空间上的无限制、变异性的干扰来误导模型生成不忠实的解释。我们表明，即使只能访问模型的最终输出，我们也能通过创建对抗性图像来操纵活动识别模型的解释。

    Sep, 2023