研究自然语言推理(NLI)模型的鲁棒性，特别关注三个因素：不敏感、极性和未见过的词汇。结果发现，所有模型在处理未见过的反义词语上表现都欠佳，并且容易受到单词和标签之间的简单统计相关性的影响。

May, 2018

通过识别和裁剪语言特定的参数，可以减少干扰，从而提高多语言变压器模型的性能，使用Shapley Values等指标来指导删除头注意力。

Oct, 2022

该研究提出了一种基于采样的计算Shapley interaction的新方法SHAP-IQ，可以用于所有符合线性、对称和虚拟公理的定义，理论上保证了其逼近质量，并提供了点估计的方差估计。该方法极大地简化了SV的计算，效率和效果得到了验证。

Mar, 2023

本文探讨了关于特征归因方法中的特征交互的问题，并提出了一种灰盒子方法，该方法能够更准确地反映目标模型的内部工作方式。通过在形式语言分类任务上训练模型，并针对性地选择特定的配置，本文展示了一些方法能够揭示模型所学的语法规则，并在对语言模型进行案例研究的基础上，提供了新的关于语言结构的见解。

Jun, 2023

我们通过数据驱动的计算建模对元音和谐进行了跨语言研究，使用基于信息熵的和谐度量来衡量自然语言词汇中元音的可预测性，训练使用具有较少或无屈折的跨语言可比较的原型形式，结果表明，神经语言模型能够捕捉到呈现这一现象的一组语言中的元音和谐模式。此外，我们的工作还表明词列表是一种有价值的资源，可以用于语言类型学研究，并为未来关于低资源、少研究的语言提供了新的可能性。

Aug, 2023

语言模型的内部工作机制是通过表示相异度测量所评估的，这是一组有潜力的工具，可以增加对语言模型内部工作机制的了解。

Oct, 2023

大型语言模型的解释对其训练中的随机性具有敏感性，因此需要对此敏感性进行描述。本文提出一种描述方法，并指出基于特征的简单模型的解释比基于Transformer的模型表现更好，同时还讨论了通过改进信号和噪音的定义来捕捉更复杂的解释和分析方法的可能性，但也对这种改进对读者的可信度产生了质疑。

Mar, 2024

通过一种新颖的可解释性方法，该论文使用信息论度量量化了神经模型对输入的表示的结构化程度，从而预测模型的泛化能力，并发现模型的代表性和噪声强度有关。此外，研究还研究了模型大小对表示空间结构的影响。

Jun, 2024

通过研究多个语言中形容词在复杂名词短语中的排序模式，评估语言模型 (LMs) 学习传统句法、语义和语用学跨越因素的细微语言规则的能力。我们发现，所有模型的预测都与人类的形容词排序模式更加接近，而与理论语言学中确定的因素的预测相差较大。与此同时，我们证明了在LMs中观察到的形容词排序模式与训练数据中形容词对的频率强相关，并且在未见组合上具有有限的泛化能力。这凸显了建立语言模型性能与语言学理论之间联系的困难。因此，我们对未来研究提出了一个路线图，并讨论了关于LMs中知识性质和其在训练集之外的泛化能力的关键问题。

Jul, 2024

本研究针对大型语言模型（LLMs）在理解和处理文本中的不透明性问题，通过研究模型中各层的重要性来填补这一空白。我们提出了一种高效的抽样方法，利用Shapley值评估层的重要性，并通过剖析实验显示，某些早期层被称为“基石层”，其移除会导致模型性能显著下降。这一发现为未来的LLM研究提供了重要的基础。

Sep, 2024