COLINGApr, 2024

基于 Transformer 的 NLI 模型中的自然逻辑特征因果效应估计

PDF
TL;DR利用因果效应估计策略衡量上下文干预和插入词对于推理标签的影响，通过广泛的干预研究验证模型对不相关变化的稳健性和对有影响变化的敏感性。
semantic featureslanguage model predictionscausal effect estimationinterventionstransformers
发现论文，激发创造
  • 神经 NLI 模型中自然逻辑特征的因果效应估计

    本文探讨了如何评估语义特征对语言模型预测的因果效应以及如何利用因果分析方法构建比较模型来评估 NLI 任务，强调因为可解释性和模型评估的需要，对于具有足够结构化和规律性的推理模式进行系统分析是非常有价值的

    May, 2023

  • 神经自然语言推断模型部分嵌入了词汇蕴含和否定理论

    本研究通过四种方法评估自然语言推理 (NLI) 模型是否可以学习词汇蕴涵和否定之间的组合交互作用，并提出了一个新的自然数据集 MoNLI，其中集中了词汇蕴涵和否定的相关内容，通过对 MoNLI 的 Fine-tuning 得到的模型相较于通用 NLI 数据集拥有更好的效果，同时对当前表现最佳的 BERT 模型进行探究表明其至少部分嵌入了词汇蕴涵和否定的算法级别理论。

    Apr, 2020

  • 基于 Transformer 的方法：从非结构化文本到因果知识图谱

    本文介绍了基于 transformer 的 NLP 架构，该架构可以联合提取包括语言描述、定性因果关系、约束限定词、词义在内的知识图谱，以及说明其在真实世界中的准确性和实用性。

    Feb, 2022

  • 神经机器翻译中语义现象的自然语言推理评估

    本文提出一个过程，用于研究神经机器翻译 (NMT) 系统生成的句子表示如何编码不同的语义现象，最终发现编码器最适合在语法 - 语义界面上支持推理，而不是需要世界知识的指代消解。

    Apr, 2018

  • 基于 Transformer 的 NLP 提取定性因果结构

    本文介绍了一种基于 Transformer 的 NLP 结构，可以联合识别和提取 (1) 语言描述的变量或因素，(2) 这些变量之间的定性因果关系，(3) 限制这些因果关系的修饰语和数量词，从而在学术出版物、新闻文章和社交媒体等多个用例中展示了这种方法并获得了有前途的结果。

    Aug, 2021

  • 语义敏感度与不一致预测：衡量 NLI 模型的脆弱性

    通过评估自然语言推理模型对含有微小语义保留表面形式噪声的对抗生成样本的效果，我们提供了证据表明，最新基于转换器的自然语言理解模型对于细微的语义保留有敏感性，这导致了推理过程中明显的不一致性。这种语义敏感性会导致在模型预测中的性能降低 12.92% 和 23.71%。

    Jan, 2024

  • AMR4NLI：来自语义图的可解释且健壮的 NLI 度量

    本研究通过比较语义结构来表示前提和假设之间的语义关系，使用可解释的度量标准计算假设是否是前提的语义子结构，并在三个英文基准测试中评估了使用语境化嵌入和语义图表达的价值，并发现它们提供了互补的信号，并可以在混合模型中一起利用。

    Jun, 2023

  • 训练数据中的隐藏偏差对文本蕴涵识别性能的影响

    本文提出了一种新的方法来研究用于识别文本蕴含任务的大型语料库的质量，通过基于统计假设检验的方法，测试了斯坦福自然语言推理（SNLI）语料库的可预测性，结果表明该库存在隐藏的偏差，并呈现了此偏差对于 RTE 的 NN 模型性能的影响。

    Apr, 2018

  • 通过真实性探索神经 NLI 模型中的传递性

    本文旨在研究表明了深度学习在自然语言处理方面的取得的成功，然而，对于它们能否展示出人类一样具有自然语言理解的概括能力的范围还不清楚。我们在自然语言推理领域探讨了这个问题，侧重于推理关系的可传递性，这是一种系统地进行推理的基本属性。结果表明，目前的自然语言推理模型无法很好地完成传递性推理任务，这表明它们缺少从提供的训练示例中综合推理的概括能力。

    Jan, 2021

  • 因果关系：大型语言模型能真正理解因果关系吗？

    提出了一种新颖的架构称为 “具有反事实分析的上下文感知推理增强框架”，通过将显式和隐式因果推理相结合，利用 ConceptNet 和反事实语句来提高因果推理和可解释性，进一步提供对因果关系的深度理解和促进可解释性。

    Feb, 2024