自然语言模型理解中的本地聚合特征归因

ACLApr, 2022

自然语言模型理解中的本地聚合特征归因

Locally Aggregated Feature Attribution on Natural Language Model Understanding

Sheng Zhang, Jin Wang, Haitao Jiang, Rui Song

TL;DR本文提出了用于自然语言处理模型的新型基于梯度的特征暗示方法（Locally Aggregated Feature Attribution，LAFA），通过汇集从语言模型嵌入推导出的类似参考文本来平滑梯度，以实现对模型的解释性。该方法在公共数据集上进行了实验，包括实体识别和情感分析以及在构建的 Amazon 目录数据集上对重要特征的检测。通过实验，证明了该方法的优越性能。

Abstract

With the growing popularity of deep-learning models, model understanding becomes more important. Much effort has been devoted to demystify deep neural networks for better interpretability. Some feature attributio

deep-learning models model understanding demystify deep neural networks gradient-based methods locally aggregated feature attribution

发现论文，激发创造

ReAGent：面向生成语言模型的无模型特征归因方法

我们提出了一种递归归因生成器（ReAGent）方法，用于生成语言模型的模型无关特征归因，通过计算原始输入和替换部分输入进行比较，确保我们的方法在各种解码器模型中提供更加准确的关键词重要性分布。

Feb, 2024

上下文感知型特征归属分析

通过论证的方式，提出了一种上下文感知特征归因的框架 CA-FATA，该框架将每个特征作为一个支持、攻击或中立预测的论证，通过论证过程进行特征归因计算，具有明确的语义和可解释性，并且能够整合用户上下文等额外信息以实现更准确的预测。

Oct, 2023

基于梯度反向传播的特征归因，实现边缘智能可解释性

本研究为了实现边缘设备上的实时可解释人工智能（XAI），利用可配置的 FPGA 设计和优化算法提高多种特征归因算法的灵活性和性能，并演示了通过分配硬件资源的有效重复使用的路径，以最小化部分准确性损失。

Oct, 2022

结合特征和实例归因来检测伪影

本文提出了一种新的训练特征归因方法，通过结合显著性图和实例归因方法，可以有效地发现训练数据中的人工瑕疵，并在实验中取得了良好的结果。

Jul, 2021

加权特征归因的聚合

本文讨论了一种将前导事件影响和价值归因两种机器学习模型解释方法融合起来的算法 AVA：Aggregate Valuation of Antecedents，通过 AV 加权聚合特征归因，不仅能检索局部解释，还能捕捉模型学习到的全局模式。验证实验表明 AVA 方法的优越性。

Jan, 2019

使用特征归因检测对抗样本的 ML-LOO 算法

本文提出了一种基于深度神经网络特征的模型对抗性样本检测方法，并在多项实验中实现优异性能，尤其能有效检测攻击方法间的转换与混合置信水平的攻击样本。

Jun, 2019

深度学习架构中特征归因的协调：增强可解释性和一致性

本研究旨在检验特征归因法在不同深度学习架构模型间的泛化能力，以及探索归一化的特征解释方法在提高机器学习应用的可解释性和信任度方面的潜力。

Jul, 2023

贪婪猪：自适应积分梯度

基于特征选择的统一离散优化框架引入了自适应性，提出了一种自适应的 Greedy PIG 方法以增强特征归因方法的能力。

Nov, 2023

基于特征归因和先验知识的文本分类方法

该论文提出了一种将特征规定融入机器学习模型建立的目标函数的方法，以解决文本分类中的偏见和数据稀缺性问题，并通过实验证明其有效性。

Jun, 2019

属性图模式学习：利用可训练属性的图模式进行预测性图挖掘

通过结合近端梯度下降和图挖掘树搜索，本文提出了一种针对属性图数据的可解释分类算法 LAGRA（Learning Attributed GRAphlets），能够同时学习重要性权重和属性向量，从而获得对于区分不同类别有很大贡献的子图结构和属性向量的组合，同时将所有训练数据集中的子图结构视为候选的 AG（attributed graphlets）的结构，通过剪枝策略来提高计算效率并保持解决方案的质量，实验证明 LAGRA 在可解释的方式下仅使用少量 AGs 就能具有优秀的预测性能。

Feb, 2024