ACLApr, 2020

自然语言推理模型是否令人印象深刻？学习隐含和预设条件

PDF
TL;DR本文在构建议程推理和预设的诊断数据集后，评估了在 MultiNLI 训练的 BERT、InferSent 和 BOW NLI 模型学习进行实用推理的能力。结果表明，尽管 MultiNLI 中的很少数的偶合类型表示，但 BERT 可以绘制实用偶合，而 BOW 和 InferSent 则表现出较弱的实用推理证据。
natural language inferencepragmatic inferencesbertimppresmultinli
发现论文，激发创造
  • 探究预训练和知识增强模型在自然语言推理中的应用的多个实验

    该研究探索了无监督预训练和外部知识对自然语言推断任务的影响，以了解其如何帮助自然语言理解和解决 NLP 问题。

    Apr, 2019

  • 神经自然语言推断模型部分嵌入了词汇蕴含和否定理论

    本研究通过四种方法评估自然语言推理 (NLI) 模型是否可以学习词汇蕴涵和否定之间的组合交互作用，并提出了一个新的自然数据集 MoNLI，其中集中了词汇蕴涵和否定的相关内容，通过对 MoNLI 的 Fine-tuning 得到的模型相较于通用 NLI 数据集拥有更好的效果，同时对当前表现最佳的 BERT 模型进行探究表明其至少部分嵌入了词汇蕴涵和否定的算法级别理论。

    Apr, 2020

  • 使用预训练的解析器提升自然语言推理能力

    本研究介绍了一种新方法，将语法纳入自然语言推理（NLI）模型中。我们使用预训练的依存解析器中的上下文令牌级向量表示来实现此方法，并使用四个强 NLI 模型（可分解的注意力模型、ESIM、BERT 和 MT-DNN）进行实验，在三个 NLI 基准测试中表现出了一致的精度提高。

    Sep, 2019

  • 不要以为前提成立：减轻自然语言推理中的人为误差

    提出两种概率方法以构建更稳健的模型，让其更好地跨数据集进行传递，解决了自然语言推理数据集中存在的偏见问题。通过在含有偏差的数据集上进行训练，并在不含偏差数据集上进行测试，结果表明这些方法能够使模型更加稳健，相比基线模型在 12 个自然语言推理数据集中，有 9 个传输效果更好。

    Jul, 2019

  • 您的模型能否区分否定与暗示？揭示意图编码的挑战

    通过使用三个任务（意图分类、意图聚类和新颖的三元组任务）来评估意图嵌入模型在语义理解方面的能力，研究使用预训练方法和数据增强来改善意图嵌入模型在实际对话系统中的性能。

    Mar, 2024

  • 一种无需特定语言训练数据的深度自然语言推理预测器

    我们提出了一种 NLP 技术，利用通用翻译数据集和知识蒸馏技术，通过两个预训练模型在源语言和目标语言上的表现实现了目标语言的句子关系推理，该技术在多个任务上展现了普适性。

    Sep, 2023

  • 机器实验语用学：测试 LLM 关于简单与嵌入式选择推理的预测

    通过与人类实验结果进行对比，使用先进的大型语言模型预测，本研究关注明确和嵌入的分明性推论以及常规数量意涵的三种推论，并发现模型结果与人类实验结果在这些推论的大幅差异以及精细差异方面基本一致。

    May, 2024

  • 非自然语言推论

    通过一个明确的指标，我们提出了多种度量方法，并研究了哪些特定的排列方式使得大型 Transformer NLU 模型在自然语言推理任务中对随机词序具有一定程度的规律性。我们对此现象进行了综合实证评估，发现无论是基于 Transformer 还是基于 pre-Transformer RNN / ConvNet 结构的编码器，以及跨多种语言（英语和中文）都存在此问题，并提供相关数据和代码。

    Dec, 2020

  • 语义敏感度与不一致预测：衡量 NLI 模型的脆弱性

    通过评估自然语言推理模型对含有微小语义保留表面形式噪声的对抗生成样本的效果，我们提供了证据表明，最新基于转换器的自然语言理解模型对于细微的语义保留有敏感性，这导致了推理过程中明显的不一致性。这种语义敏感性会导致在模型预测中的性能降低 12.92% 和 23.71%。

    Jan, 2024

  • AMR4NLI：来自语义图的可解释且健壮的 NLI 度量

    本研究通过比较语义结构来表示前提和假设之间的语义关系，使用可解释的度量标准计算假设是否是前提的语义子结构，并在三个英文基准测试中评估了使用语境化嵌入和语义图表达的价值，并发现它们提供了互补的信号，并可以在混合模型中一起利用。

    Jun, 2023