Apr, 2019

HELP: 一个用于发现神经模型在单调性推理中缺陷的数据集

PDF
TL;DR本文介绍了 HELP 数据集，并将其添加到现有数据集中，用于训练最新神经模型，并评估它们在具有逻辑推理的 test sets 上的性能，在实验中，数据集有助于改善神经模型的整体准确性，特别是对于需要词汇替换的推理而言效果最佳。
发现论文，激发创造
  • 神经网络理解单调性推理吗？

    本文介绍了 Monotonicity Entailment Dataset (MED)，并研究了最先进的 NLI 模型在该测试集上的表现。结果表明，这些模型的表现相当差，特别是在向下推理方面，并且数据增强方法显示这些模型的向上和向下推理的泛化能力受到限制。

    Jun, 2019

  • 神经自然语言推断模型部分嵌入了词汇蕴含和否定理论

    本研究通过四种方法评估自然语言推理 (NLI) 模型是否可以学习词汇蕴涵和否定之间的组合交互作用，并提出了一个新的自然数据集 MoNLI，其中集中了词汇蕴涵和否定的相关内容，通过对 MoNLI 的 Fine-tuning 得到的模型相较于通用 NLI 数据集拥有更好的效果，同时对当前表现最佳的 BERT 模型进行探究表明其至少部分嵌入了词汇蕴涵和否定的算法级别理论。

    Apr, 2020

  • 神经模型学习自然语言中单调推理的系统性吗？

    本文介绍了一种评估神经模型能否学习自然语言的单调性推理系统性的方法，并考虑了语法结构的重要性，实验表明神经模型的推理性能在语法结构相同的情况下很好。

    Apr, 2020

  • 通过语义片段探究自然语言推理模型

    通过使用语义片段，作者发现目前自然语言理解领域最先进的模型在布尔协调、量化、条件、比较和单调性推理等方面表现不佳，在这些问题上进行微调，BERT-based 模型可以掌握所有逻辑和单调性片段，同时保持其在已有 NLI 基准测试的性能。

    Sep, 2019

  • LogicInference: 一份新的数据集，用于教导 seq2seq 模型进行逻辑推理

    该论文介绍了 LogicInference 数据集，主要用来评估模型在逻辑推理方面的能力，该数据集涵盖了命题逻辑和部分一阶逻辑，并用半正式的逻辑符号和自然语言表示。同时，论文还对多种机器学习模型在该数据集上的初步实验结果进行了报告，建立了一个基础基线。

    Mar, 2022

  • 神经 NLI 模型中自然逻辑特征的因果效应估计

    本文探讨了如何评估语义特征对语言模型预测的因果效应以及如何利用因果分析方法构建比较模型来评估 NLI 任务，强调因为可解释性和模型评估的需要，对于具有足够结构化和规律性的推理模式进行系统分析是非常有价值的

    May, 2023

  • 语言模型使用单调性来评估 NPI 许可

    本文探讨语言模型的语义知识，特别关注其是否基于语义单调性属性创建了语言环境类别，并且是否这些类别在语言模型中扮演类似于人类语言理解的作用，以否定极性项许可为案例研究。通过一系列试验，包括探针式诊断分类器、语言可接受性任务，以及一种新型的分类器排名方法，我们能够更深入地了解到这些模型所获得的语义概括。

    May, 2021

  • 探究文本蕴涵数据集中的偏见

    本研究分析了 SNLI 和 MultiNLI 数据集中逻辑关系的数据偏差程度及其影响，并提出一种简单的方法来降低数据集中的数据偏差。我们发现仅对 SNLI 数据集中的假设进行分类，就能产生 64% 的准确率。

    Jun, 2019

  • 基于 Transformer 的 NLI 模型中的自然逻辑特征因果效应估计

    利用因果效应估计策略衡量上下文干预和插入词对于推理标签的影响，通过广泛的干预研究验证模型对不相关变化的稳健性和对有影响变化的敏感性。

    Apr, 2024

  • 学习解释：多跳问答中识别有效推理链的数据集和模型

    本研究引入了三种不同类型的解释数据集，发现基于 BERT 分类器的方法能够显著提高解释质量，同时通过使用广义推理链，使得对某些扰动更具鲁棒性。

    Oct, 2020