本文提出了用于自然语言处理模型的新型基于梯度的特征暗示方法（Locally Aggregated Feature Attribution，LAFA），通过汇集从语言模型嵌入推导出的类似参考文本来平滑梯度，以实现对模型的解释性。该方法在公共数据集上进行了实验，包括实体识别和情感分析以及在构建的 Amazon 目录数据集上对重要特征的检测。通过实验，证明了该方法的优越性能。

Apr, 2022

本文提出了一种新的忠实度度量标准，即递归 ROAR，并对四种不同的重要性评估方法在八个数据集上进行了评估，发现其忠实度既与模型相关，也与任务相关。

Oct, 2021

通过论证的方式，提出了一种上下文感知特征归因的框架 CA-FATA，该框架将每个特征作为一个支持、攻击或中立预测的论证，通过论证过程进行特征归因计算，具有明确的语义和可解释性，并且能够整合用户上下文等额外信息以实现更准确的预测。

Oct, 2023

提出了一种模型无关的方法 MeTFA 用于量化不确定性并增加解释算法的稳定性，该方法可将信任度提高，并可在保持可信度的同时显著减少不稳定性，并展示了在语义分割模型中定位上下文偏差和抵御针对解释的对抗攻击的潜在能力。

Sep, 2022

提出了一种名为 RFA 的注意力机制，它能够有效地处理长序列，同时在语言模型和机器翻译任务方面表现出与常规 transformer 模型相似或更好的性能，并且在机器翻译实验中，RFA 的解码速度是普通 transformer 的两倍。

Mar, 2021

该研究提出了基于属性引导的数据增强方案 (AGA)，采用深度编码器 - 解码器架构来学习综合函数，以在 1-shot 对象识别和场景识别问题中改善模型在分类任务上的性能。

Dec, 2016

多头高斯自适应注意力机制（GAAM）和高斯自适应变换器（GAT）能够增强跨多种模态（包括语音、文本和视觉）的信息聚合，有效提升模型性能，特别是在处理高度非平稳数据时的准确度可以提升 20% 左右，并通过识别特征空间中的关键元素，进一步展示了模型的适应性和潜力。GAAM 不仅兼容基于点积的注意力模型，而且参数较少，展现了其对现有注意力框架的提升能力和潜在价值。通过实验证明，GAAM 在多种任务上具备出色的适应性和效果，包括情感识别、图像分类和文本分类，从而显示出其在处理多模态数据方面的健壮性和多功能性。此外，该研究还引入了重要性因子（IF），一种基于学习的度量指标，增强了 GAAM 方法训练模型的可解释性。总体而言，GAAM 代表了跨多模态的注意力模型在性能和可解释性方面的进展。

Jan, 2024

基于 ROUGE、BLEU、METEOR 分数和余弦相似度的衡量标准，我们对 GPT-J-6B、OPT-6.7B、LlaMA、LlaMA-2 这几种语言模型的 RAG 和 FN 技术的性能进行了比较和分析，结果表明 RAG 基于构造的模型较 FN 更有效。我们进一步指出 RAG 和 FN 的连接并不简单，因为将 FN 模型与 RAG 相连会导致性能下降。此外，我们提出了一种简单的基于 RAG 的架构，平均而言在 ROGUE 评分上比 FN 模型高出 16%，在 BLEU 评分上高出 15%，在余弦相似度上高出 53%。这显示了 RAG 相比 FN 在幻觉方面的显著优势，而 FN 模型的平均 8% 更好的 METEOR 分数则表明其与 RAG 相比具有更高的创造力。

Mar, 2024

本文提出了一个简单而有效的软擦除标准，用于计算特征归因方法的充分性和全面性，实验结果表明，相较于硬擦除标准，该方法更好地反映了预测的重要部分，适用于自然语言处理中的各种任务与不同特征归因方法。

May, 2023

本研究提出了 SARFA，一种基于深度增强学习的视觉化方法，生成更加专业和相关的显著图，相比现有方法更容易解释。在棋盘游戏（如国际象棋和围棋）和 Atari 游戏（如打砖块、乒乓球和太空侵略者）的比较中，SARFA 产生的显著图比现有方法更容易解释。

Dec, 2019