EMNLPAug, 2021

用离散化的综合梯度来解释语言模型

PDF
TL;DR本文针对 Integrated Gradients 在文本数据中由于词嵌入空间的固有离散性导致插值点不够具有代表性的问题，提出了基于离散化插值策略的 Discretized Integrated Gradients 方法，与 Integrated Gradients 方法相比，本方法计算出的梯度更符合实际情况，有效性得到了实验和人工评估的验证。
integrated gradientsdiscretized integrated gradientsattribution-based explanation algorithmsentiment classificationword embedding space
发现论文，激发创造
  • 顺序集成梯度：解释语言模型的简单而有效方法

    本文提出了一种逐步积分的方法（SIG），用于评估语言模型中每个词的重要性，同时用训练过的词 “mask” 代替了不适合的 baseline 词 “pad”，证明了其在各种模型和数据集上皆具有高效的解释语言模型的能力。

    May, 2023

  • 集成决策梯度：在模型做出决策的地方计算您的属性

    本研究提出了一种新的归因算法 (IDG) 用于神经网络模型的解释，该算法实现了通过将梯度积分到模型决策区域来解决饱和问题，该算法在 ImageNet 上进行的评估表明 IDG 在三个常见模型中以标准插入和删除度量标准在质量和量化上都优于 IG、left-IG、guided IG 和敌对梯度积分。

    May, 2023

  • 低延迟可解释 AI 中的非均匀插值

    本研究提出了一种新的算法优化方法，通过硬件感知将 Integrated Gradients 算法加速，使其在保证收敛的同时，显著减少总插值步骤并提高了性能，同时我们在 ImageNet 数据集上进行的实验进一步验证了该算法的有效性。

    Feb, 2023

  • IDGI: 从 Integrated Gradients 中消除解释噪声的框架

    通过重视噪音源，提出了一种新的框架 ——IDGI，结合了 Reimann Integration 和 IG-based 的方法，可以在解释性指标上显著提高。

    Mar, 2023

  • 广义集成梯度：解释多元集成的实用方法

    本文介绍了广义整合梯度（GIG），是解释 ML 预测模型的输入变量的方法，并且相较于其他方法有很好的特性，适用于各种实际应用，特别是金融领域。我们证明了在合理的公理下，GIG 是解释混合型模型或游戏的唯一正确方法。

    Sep, 2019

  • IG2：特征归因的迭代梯度路径上的综合梯度

    特征归因方法 IG2 整合了梯度的正常输出和反事实输出，提高了特征归因的准确性，并证明在多个领域取得了优于现有技术的结果。

    Jun, 2024

  • 流形综合梯度：特征归因的黎曼几何

    通过适应路径影响力的方法，了解了集成梯度（IG）在黑盒深度学习模型中存在的可靠性问题，主要是生成针对视觉模型的嘈杂特征可视化和对敌对归属攻击的脆弱性。我们的实验使用深度生成模型应用于多个真实图像数据集，证明了 IG 沿测地线符合黎曼数据流形的曲线几何性质，生成更具感知直观性的解释，从而大大增加了针对归属攻击的鲁棒性。

    May, 2024

  • 引导式集成梯度：一种用于去除噪声的自适应路径方法

    本文提出了自适应路径方法（APM）以及其特例 Guided IG 方法，通过调整归因路径本身（而非仅减少结果中的噪声）来解决在视觉模型上应用 Integrated Gradients 方法产生噪声像素归因的问题，并实验证明其在几乎所有实验中优于其他相关方法，可以创建与模型预测和图像输入更加一致的显著性地图。

    Jun, 2021

  • 集成梯度归因方法的四个公理特征

    本研究介绍了一种称为 Integrated Gradients 方法的基线归因方法和其四个公理特征，用以揭示神经网络及其他机器学习模型的内部工作机制。

    Jun, 2023

  • 几何引导式的整合梯度

    本文提出了一种基于深度神经网络模型参数空间局部几何性质的解释性方法 —— 几何引导的积分梯度法，在主观和量化评价方面表现优于传统的积分梯度法和总体梯度法，并提出了 “模型扰动” 的健全性检查，以补充传统的 “模型随机化” 测试。

    Jun, 2022