Oct, 2020

对抗性自然语言推理数据集分析

PDF
TL;DR本文提出了一种精细注释 Adversarial NLI 的方法，通过分析其数据集中不同方面的推理并使用手工编码，回答了一些问题，如哪种推理类型最常见，哪种模型在每种推理类型上的表现最好等，并希望这些注释可以使得对于 ANLI 训练的模型进行更细粒度的评估，更深入的了解模型失败和成功的原因，并且有助于在未来培训出更好的模型。
adversarial nlinatural language inferencedataseterror analysisannotation scheme
发现论文，激发创造
  • ViANLI: 针对越南语的对抗自然语言推理

    通过预训练模型在标注过程中使用，本文介绍了对自然语言推理进行研究的越南 NLVS 数据集 ViANLI，并证明基于该数据集训练的模型显著提高了其他越南自然语言推理数据集的结果。

    Jun, 2024

  • 对抗性自然语言推理：自然语言理解新基准

    介绍了一个通过迭代对抗人与模型的程序收集的大规模 NLI 基准数据集，并展示了训练模型在这个新数据集上将导致在各种流行的 NLI 基准测试中的最新性能，同时还带来了更困难的挑战。数据收集方法可以在永不停止的学习场景中应用，成为 NLU 的移动目标，而不是一个很快就会饱和的静态基准测试集。

    Oct, 2019

  • DocNLI: 一个大规模的文档级自然语言推理数据集

    介绍了 DocNLI 数据集，它是基于广泛的 NLP 问题构建的，涵盖了文本的多种类型和文档层级上的 NLI，而不是仅仅句子层级上的。实验表明，即使没有微调，预训练于 DocNLI 上的模型在流行的句子级基准测试中表现良好，并且推理到文档层级上的跨域 NLP 任务具有良好的泛化性能。

    Jun, 2021

  • 使用生成的事实作为原子的自然语言推理的逻辑推理

    本研究提出了一种模型无关的逻辑框架，以确定每个输入中负责每个模型决策的特定信息并生成可解释的自然语言推理模型，其性能优于当前最先进的神经模型，适用于高度挑战性的 ANLI 数据集。

    May, 2023

  • IndoNLI：一个印尼自然语言推理数据集

    我们提出了 IndoNLI 数据集，这是第一个人类收集的适用于印度尼西亚语的 NLI 数据集。我们采用 MNLI 的数据收集协议，收集了近 18K 个由众包工人和专家标注的句子对。实验结果表明，在我们的数据中，XLM-R 的性能优于其他预训练模型。最佳性能仍然远低于人类性能（13.4％的准确度差距），表明此测试集具有特别的挑战性。此外，我们的分析显示，我们的专家标注数据比众包标注数据更加多样化，注释工件更少。我们希望这个数据集可以帮助加快印尼自然语言处理研究的进展。

    Oct, 2021

  • 通过集成对抗训练避免自然语言推理中仅有假设的偏差

    采用对抗性训练和敌对对抗方法的集成来降低自然语言推理中的偏见，这种方法比先前的去偏见努力表现更好，并且在推广到 12 个其他数据集时表现良好。

    Apr, 2020

  • 临床领域自然语言推理的启示

    介绍了 MedNLI 数据集的自然语言推理任务 (NLI)，并提出了两种解决深度神经网络模型在特定领域泛化能力差的方法：利用开放域数据集进行迁移学习和结合外部数据和词汇来源的领域知识。实验结果表明，两种方法均可提高模型性能。

    Aug, 2018

  • WANLI: 工人与人工智能合作创建自然语言推理数据集

    通过使用自然语言生成技术和人工智能协作来创造数据集，以及使用 WANLI 数据集训练模型取得了较高精度，具有以下关键词：众包、NLP 数据集、数据集创作、人工智能、自然语言推理

    Jan, 2022

  • 收集多样化的自然语言推理问题用于句子表示评估

    该研究从 13 个不同领域的语料库中抽取出超过 50 万个标记好的内容假设对，并将它们重新组织成一个名为 DNC 的大规模多样化自然语言推理数据集，以探究语句表示在不同类型推理问题中的表现。

    Apr, 2018

  • 超越排行榜：揭示自然语言推理数据和模型弱点方法综述

    本文是对近年来有关自然语言推理数据集的研究及其相关算法模型的综述，对模型和数据集中存在的问题进行分类整理，并提出一些可能的研究方向，为未来的研究提供指导建议。

    May, 2020