N2G 提供了一种 less labour intensive 的方式来解释语言模型中的神经元，同时适用于 Large Language Models（LLMs），通过转化神经元的行为为可解释的图表来帮助研究人员对模型的内部机制进行研究。

Apr, 2023

论文介绍了适应性输入表示对神经语言建模的重要性，对比了在自注意力网络结构中以字符、单词和亚词元为单位以及输入和输出层的因数分解方案，并最终实现了在不增加参数前提下提高模型训练速度和减少困惑度的目的。

Sep, 2018

该论文介绍了一种自动化的方法来解释大型语言模型中的神经元行为，并将其转化为可解释的图形表示，从而提高大型语言模型的可解释性和安全性。

May, 2023

提出了一种新颖的解释方法，利用人脑阅读复杂自然文本时的脑成像记录来解释最新的四个 NLP 模型 ——ELMo、USE、BERT 和 Transformer-XL 中的词和序列嵌入，研究它们在层深度、上下文长度和注意类型之间的差异，并推测改变 BERT 以更好地对齐脑成像记录将使其更好地理解语言。

May, 2019

研究表明预先训练的神经语言模型中的预测至少部分地由意义的动态表示和实体状态的隐含模拟支持，并且这种行为可以仅依靠文本作为训练数据来学习。

Jun, 2021

通过模拟单个神经元之间的强交互作用，提出了一种新的方法来组成神经机器翻译中不同组件所学习的表示，该方法利用了双线性汇聚来建模单个神经元之间的成对乘法交互作用，并使用低秩近似使模型具有可计算性，并且在 WMT14 英德和英法翻译任务上得到了更好的实验结果。

Nov, 2019

IGNNet 是一个解释性图神经网络，用于处理表格数据，通过表征学习的方式捕获特征交互，大规模的实证研究证明 IGNNet 与 XGBoost、Random Forests 和 TabNet 等最先进的机器学习算法在处理表格数据时表现相当，同时 IGNNet 的解释与特征的 Shapley 值一致而无需额外的计算开销。

Aug, 2023

提出一种名为 Fast Graph Decoder (FGD) 的 softmax layer 近似算法，可快速识别给定上下文中最可能出现的 K 个单词，从而减少解码时间并保持接近全 softmax 基线准确率，在神经机器翻译和语言建模任务上证明了其有效性，同时也证明了其理论保证。

Jun, 2018

计算机视觉中可视化特征提供了一种将视觉模型的神经元信息分解解释的方法，我们的研究受到这一方法的启发并针对大型预训练语言模型进行了活化最大化的尝试；我们提出了特征文本化技术，用于提取预训练语言模型中神经元的知识表示，发现这些表示可以揭示关于神经元所编码的知识的见解，但神经元并不代表清晰的语言符号单元如词。

Nov, 2023

本文提出一种数学优化方法，将人类可解释的语义概念与特征空间中的向量相互关联，从而诠释全局和局部的深度神经网络决策过程。实验表明，该方法可以有效解释已有深度神经网络模型。

Oct, 2019