Jun, 2023

评估文本蕴含模型的释义鲁棒性

PDF
TL;DR本文介绍 PaRTE，一组 1126 个文本蕴含例子，用来评估模型是否对改写具有鲁棒性。文章指出，如果 RTE 模型真正理解语言，那么它们的预测应该在具有相同意义的输入之间保持一致。作者使用这个评估集合以确定 RTE 模型在对例子进行改写时是否会改变它们的预测。通过实验发现，当文本改写时，现代模型对 8-16% 的例子进行了预测更改，这表明仍有提高空间。
recognizing textual entailmentparaphrasinglanguage modelsevaluationimprovement
发现论文，激发创造
  • 文本蕴涵中的比喻语言

    集合了五个 RTE 数据集的文章，聚焦于比喻语言，示例超过 12500 个，研究发现现有的 RTE 模型无法很好地捕捉比喻语言的不同方面，无法进行语用推断和世界知识推理。该研究提供了一个挑战性的测试平台来评估 RTE 模型。

    Jun, 2021

  • 一项文本蕴含识别的自然语言处理评估调查

    本论文介绍了一种用于比较不同 NLP 系统语义理解能力的统一性评估框架 ——Recognizing Textual Entailment (RTE)，并提供了评估 NLP 系统推理能力的不同方法的概述，重点介绍了 RTE 数据集的特点及其最新研究进展，提出了利用注重特定语言现象的新引入的 RTE 数据集来评估 NLP 系统的建议。

    Oct, 2020

  • 利用自然推理证明获取短语对应关系

    本研究提出一种通过语义关系自然推导证明来检测词组知识的方法，利用部分变量协同作图重构以及诱导意义呈现的子图对齐算法，可自动检测各种不存在于现有词组数据库的词组，进而提高了文本推理任务的准确率。

    Apr, 2018

  • 自然语言推理中错误多少是由于释义的变异导致的？

    大型语言模型在对意义保持改写的输入作出回应时表现不一致。我们提出了一种度量自然语言推理模型改写一致性的评估指标，该指标基于模型在同一问题的两个改写上的正确性概率，并将其与改写相关的正确性变化的比例数学上相连。通过收集 ParaNLU 数据集，我们测量了几种模型类别的改写一致性，并展示了一致性随预训练而显著增加，而微调则没有。所有测试模型在改写一致性方面都有改进的空间。

    Apr, 2024

  • 如何解决 RTE5 文本蕴涵挑战所需知识？

    本文针对 20 个有趣的文本蕴涵识别 (RTE) 例子，从基于知识的视角进行分析，试图回答推断 T 是否蕴涵 H 所需的世界知识是什么。分析的重点放在 BLUE 系统未能正确回答并需要世界知识的例子上，这些例子通常在 T 和 H 之间有很高的语义和词汇重合度，并且大多数当前的 RTE 系统很难正确回答。

    Jun, 2018

  • 自然语言句子之间蕴含和矛盾关系的识别：一种神经符号方法

    提出了一个基于将文本转换为抽象意义表示（AMR）图的新型流水线，通过预训练的 AMR 解析器将 AMR 图转换为命题逻辑，并使用 SAT 求解器进行自动推理，引入了松弛方法以允许替换或遗忘某些命题。实验结果表明该流水线在四个 Recognizing Textual Entailment 数据集上表现良好。

    May, 2024

  • 释义与文本蕴涵方法调查

    文章总结了表述和文本蕴含两个领域的关键思想，包括识别、生成和提取方法，指出两个领域在自然语言处理应用方面的重要性。

    Dec, 2009

  • 从释义学习概率句子表示

    本文定义了能够为句子产生分布的概率模型，最佳表现的模型将每个单词视为线性转换算子应用于多变量高斯分布，并通过从定义的模型中进行训练，演示了实现句子特定性的自然方式。虽然我们的模型是整体最佳表现的，但通过句子向量的范数表示来表示句子的特异性的简单架构也能够表现句子的特异性。质性分析表明，我们的概率模型捕获了句子涵盖并提供了分析单词特异性和精确性的方法。

    May, 2020

  • 蕴含关系感知的释义生成

    这篇文章介绍了一种新的基于强化学习的弱监督的改述系统 ERAP，通过使用现有的改述和自然语言推理 (NLI) 语料库进行训练，可以生成符合给定蕴涵关系且质量良好的改述，经实验证明，使用 ERAP 来增强下游的文本蕴涵任务训练数据可以提高性能并减少训练异常，表明了在改述过程中显式控制的好处。

    Mar, 2022

  • 训练数据中的隐藏偏差对文本蕴涵识别性能的影响

    本文提出了一种新的方法来研究用于识别文本蕴含任务的大型语料库的质量，通过基于统计假设检验的方法，测试了斯坦福自然语言推理（SNLI）语料库的可预测性，结果表明该库存在隐藏的偏差，并呈现了此偏差对于 RTE 的 NN 模型性能的影响。

    Apr, 2018