ACLMay, 2024

应用基于制图的新课程学习方法于 RoNLI：首个罗马尼亚自然语言推理语料库

PDF
TL;DR自然语言推理 (NLI) 是一个活跃研究的领域，通过识别句子对中所呈现的蕴涵关系来代表自然语言理解。本文提出了第一个罗马尼亚语 NLI 语料库（RoNLI），其中包括 58K 个通过远程监督获取的训练句子对，以及手动注释了正确标签的 6K 个验证和测试句子对。我们进行了一系列基于远程学习的多个机器学习方法的实验，从基于词嵌入的浅层模型到基于 Transformer 的神经网络，以确立一组有竞争力的基准模型。此外，我们通过采用基于数据制图的新的课程学习策略，改进了最佳模型。我们提供了数据集和用于重现基准模型的代码。
natural language inferencenliromanian nli corpusmachine learning methodscurriculum learning strategy
发现论文，激发创造
  • 一种无需特定语言训练数据的深度自然语言推理预测器

    我们提出了一种 NLP 技术，利用通用翻译数据集和知识蒸馏技术，通过两个预训练模型在源语言和目标语言上的表现实现了目标语言的句子关系推理，该技术在多个任务上展现了普适性。

    Sep, 2023

  • 低资源科学自然语言推理的共同训练

    我们提出了一种新的协同训练方法，通过根据分类器的训练动态为远程监督标签分配权重，反映了它们在后续训练轮次中的使用方式。我们通过分配重要权重而不是基于预测置信度的任意阈值过滤示例，使得自动标记的数据得以最大化利用，同时确保噪声标签对模型训练的影响最小化。该方法相对于远程监督基准方法在 Macro F1 上实现了 1.5％的改进，并在几个其他强 SSL 基准方法上取得了显著的改进。我们在 Github 上提供了我们的代码和数据。

    Jun, 2024

  • 自然语言推理的对偶级别监督对比学习

    本文提出一种基于对偶句子级别的监督对比学习（PairSCL）方法，采用交叉注意力机制学习句子对的联合表示，并使用对比学习目标来区分不同类别的句子对，在两个公共 NLI 数据集上，PairSCL 的准确性平均优于其他方法 2.1％，并在文本分类的七个转移任务上超过了先前的最新方法。

    Jan, 2022

  • SciNLI：科学文本自然语言推理语料库

    本文介绍了 SciNLI，它是一个用于 NLU 的大型 NLI 数据集，旨在捕捉科学文本中的规范性，并包含 107,412 个从 NLP 和计算语言学方面的学术论文中提取的句子对。我们的实验表明，SciNLI 比现有的 NLI 数据集更难分类。使用 XLNet 的最佳模型仅实现了 78.18％的 Macro F1 得分和 78.23％的准确度，表明还有很大的改进空间。

    Mar, 2022

  • 强化学习辅助的话语标记网络用于自然语言推理

    本文针对自然语言处理中最重要的问题之一 —— 自然语言推理（NLI），提出了一种从重要语篇标记中转移知识以提高 NLI 模型质量的方法，并使用强化学习优化了新的目标函数，通过 NLI 数据集的属性定义得出奖励，从而充分利用标签信息，实验结果显示，我们的方法在几个大规模数据集上取得了最先进的表现。

    Jul, 2019

  • 学习无标注数据推理：一种半监督学习方法用于强健的自然语言推理

    本文提出了一种结合无标注数据的 NLI 半监督学习方法，其中使用了条件语言模型 BART 生成假设句子，以减少对人类注释的依赖，实验结果显示该方法能够成功地利用无标注数据并在低资源环境下显著提高四个 NLI 评测集的性能。

    Nov, 2022

  • 一种多级有监督对比学习框架用于低资源自然语言推断

    本文提出了一种多级有监督对比学习框架 MultiSCL，该框架使用句子级和对级对比学习目标，在低资源自然语言推理任务中区分不同分类的句对。MultiSCL 采用数据增强模块和交叉注意力模块来获取对级表示，经实验证明，在低资源设置中，MultiSCL 的准确率比其他模型平均高 3.1％，且在文本分类的跨域任务中优于以前的最新方法。

    May, 2022

  • DocNLI: 一个大规模的文档级自然语言推理数据集

    介绍了 DocNLI 数据集，它是基于广泛的 NLP 问题构建的，涵盖了文本的多种类型和文档层级上的 NLI，而不是仅仅句子层级上的。实验表明，即使没有微调，预训练于 DocNLI 上的模型在流行的句子级基准测试中表现良好，并且推理到文档层级上的跨域 NLP 任务具有良好的泛化性能。

    Jun, 2021

  • 面向语句理解的广覆盖挑战语料库

    介绍了一个用于机器学习模型开发和评估的数据集，以句子理解为主题并提到该数据集是目前最大的语料库之一，具有覆盖十种不同英语写作和口语体裁的数据，可评估跨体裁领域适应系统。

    Apr, 2017

  • 自然语言推理（NLI）在需求工程任务中的应用经验

    我们研究了自然语言推理 (NLI) 在自动化需求工程任务中的应用。我们集中在需求分类、需求规范缺陷的识别以及利益相关者需求冲突的检测三个任务。通过在不同学习设置下进行的实验，我们明确证明了我们的 NLI 方法在需求规范分析方面超越了传统的 NLP 方法以及基于大型语言模型和聊天机器人模型的其他方法。此外，我们分享了在学习设置方面的经验教训，使 NLI 成为自动化需求工程任务的合适方法。

    Apr, 2024