通过基于梯度下降的方法，测量每个输入词对神经机器翻译输出的影响，从而提高神经机器翻译的可解释性。同时，揭示了语法类别对于神经机器翻译输入词的影响，为多语言翻译的设计原则提供了启示。

Sep, 2019

通过改变提示中的单词以揭示其对模型输出的统计影响来改善大型语言模型的可解释性，检验结果显示单词重要性得分与多个评分函数的预期后缀重要性密切相关。

Mar, 2024

该研究通过分析语法结构提出了基于最小二乘法的重要性评分方法，以实现对训练的分类模型进行解释，并建立了这些重要性评分的公理化特征，发展了一种合理的检测和量化句子中单词之间交互的方法，证明了该方法在多种语言模型的可解释性和诊断中的作用。

Feb, 2019

本文比较了人类和神经语言模型中的相对重要性模式，发现人类语言处理的模式与基于显著性的神经语言模型的相对重要性高度相关，同时表明显著性可能是解释神经语言模型的认知更可信的度量标准。

Jun, 2021

通过对两种不同类型的字嵌入与手动注释的标签化字重要性得分进行相关分析，我们发现使用 BERT 生成的归一化上下文化字嵌入与标注的重要性得分之间的相关性更好，并提供了对训练字重要性模型的可行性的概念验证。

Jun, 2022

训练多任务自动编码器进行语言任务，分析学习到的句子隐藏表示。加入翻译和词性解码器时，表示将显着改变。使用的解码器越多，模型根据句法相似性对句子进行聚类的效果越好。通过插值句子来探索表示空间的结构，得出很多有可识别句法结构的伪英语句子。最后，我们指出了模型的一个有意思的特性：两个句子之间的差分向量可以添加到第三个具有类似特征的句子中，以有意义的方式改变它。

Jan, 2018

本文介绍了如何使用机器学习模型解释文本分类的决策过程以及如何生成基于词向量的文档表示方法。通过对两个不同类型的模型进行比较，表明卷积神经网络在可解释性方面的优势，也使得它更具有人类可理解性，并有潜力应用于其他领域。

Dec, 2016

这篇研究探讨了高性能预训练语言模型的表现，并提出了一些可解释的评估指标用于理解检索实例的概念质量，并对具有明显查询语义的对抗性干预进行了测试，揭示了不透明指标中的漏洞并显示了学习语言表示中的模式。

Sep, 2022

研究发现，通过改变输入的顺序和位置信息，掩码语言模型的性能并不会受到影响；相比于句法方面，跨句子关注和更丰富的嵌入捕捉上下文的词义是 BERT 的优势所在。

Jul, 2022

研究了文本词汇的语法属性和位置对于可解释性的影响，将研究结果运用到一个基于序列标注的模型 Seq2Saliency 中，同时构建了一个新的数据集 PrSalM，并对不同属性的词汇的可解释性进行了实验验证。

Jul, 2022