Sep, 2022

通过因果中介分析测试预训练语言模型对分配律的理解

PDF
TL;DR本文介绍了一个新的自然语言推理诊断数据集 DistNLI，旨在研究分配性带来的语义差异，运用因果中介分析框架量化模型行为并探索其中的机制，发现模型对此高层次语义知识的理解程度与模型大小和词汇表大小相关，并提出了模型如何编码此类高层次语义知识的见解。
pre-trained language modelsdistnlisemantic knowledgedistributivitycausal mediation analysis
发现论文，激发创造
  • 神经 NLI 模型中自然逻辑特征的因果效应估计

    本文探讨了如何评估语义特征对语言模型预测的因果效应以及如何利用因果分析方法构建比较模型来评估 NLI 任务，强调因为可解释性和模型评估的需要，对于具有足够结构化和规律性的推理模式进行系统分析是非常有价值的

    May, 2023

  • 基于 Transformer 的 NLI 模型中的自然逻辑特征因果效应估计

    利用因果效应估计策略衡量上下文干预和插入词对于推理标签的影响，通过广泛的干预研究验证模型对不相关变化的稳健性和对有影响变化的敏感性。

    Apr, 2024

  • 解读神经自然语言处理的因果中介分析：性别偏见案例

    通过因果中介分析理论，我们提出了一种方法来解释神经模型语言处理中行为的成因，并使用此方法研究了预先训练的 Transformer 语言模型中性别偏差的机制。通过对个体神经元和注意力节点的分析，我们发现性别偏差效应分布稀疏，集中在网络的小部分，并且能被不同的中介子部件放大或抑制，同时也可以通过中介子的直接和间接影响进行分解。

    Apr, 2020

  • 使用因果中介分析方法理解语言模型中的算术推理

    本研究利用因果中介分析框架对大型语言模型在算术问题上的机制解释进行了研究，结果表明，中后期少量层次的激活对算术问题预测结果产生显著影响，模型对算术问题和事实知识的预测有不同的激活模式，并揭示了语言模型中涉及算术推理的特定组分。

    May, 2023

  • 使用多重量化语句进行自然语言推理神经模型的压力测试

    本文提出了一种生成数据集的方法，用于生成特定的自然语言推理例子，从而更精确地表征语义复杂性，并指出仅强制词汇对齐的模型可以避免关键信息的损失。

    Oct, 2018

  • 神经自然语言推断模型部分嵌入了词汇蕴含和否定理论

    本研究通过四种方法评估自然语言推理 (NLI) 模型是否可以学习词汇蕴涵和否定之间的组合交互作用，并提出了一个新的自然数据集 MoNLI，其中集中了词汇蕴涵和否定的相关内容，通过对 MoNLI 的 Fine-tuning 得到的模型相较于通用 NLI 数据集拥有更好的效果，同时对当前表现最佳的 BERT 模型进行探究表明其至少部分嵌入了词汇蕴涵和否定的算法级别理论。

    Apr, 2020

  • 探究文本蕴涵数据集中的偏见

    本研究分析了 SNLI 和 MultiNLI 数据集中逻辑关系的数据偏差程度及其影响，并提出一种简单的方法来降低数据集中的数据偏差。我们发现仅对 SNLI 数据集中的假设进行分类，就能产生 64% 的准确率。

    Jun, 2019

  • 评估语义空间中分布假设的限制：基于特质的关系知识和共现影响

    研究探讨了关于如何使数据获取自然语言的有意义的表示，包括评估英语和西班牙语语义空间如何捕捉与概念相关的特征，以及探索共现在这种情况下的作用。

    May, 2022

  • 分布假设并不能完全解释掩蔽语言模型预训练的好处

    我们从分布假设的角度分析了遮蔽语言建模预训练目标函数。我们研究了是否可以将预训练的模型的更好样本利用效率和更好的泛化能力归因于预训练数据的语义相似性编码的分布特性。通过一个合成数据集，我们的分析表明，分布特性确实导致了预训练遮蔽语言模型的更好样本利用效率，但不能完全解释其泛化能力。我们还对两个真实数据集进行了分析，并证明了分布特性也无法解释预训练自然语言模型的泛化能力。我们的结果表明我们对模型预训练的理解有限，并提供了未来的研究方向。

    Oct, 2023

  • 通过真实性探索神经 NLI 模型中的传递性

    本文旨在研究表明了深度学习在自然语言处理方面的取得的成功，然而，对于它们能否展示出人类一样具有自然语言理解的概括能力的范围还不清楚。我们在自然语言推理领域探讨了这个问题，侧重于推理关系的可传递性，这是一种系统地进行推理的基本属性。结果表明，目前的自然语言推理模型无法很好地完成传递性推理任务，这表明它们缺少从提供的训练示例中综合推理的概括能力。

    Jan, 2021