ACLOct, 2020

众包工作者撰写蕴含示例的具体实施：从众多不良方案中挑选最优选项

PDF
TL;DR本研究探讨了三种自然语言推理数据集的构建方法 ——crowdworker writing，自动构建以及折衷方案，并在此基础上收集了新的英文 NLI 数据集。实验结果表明，crowdworker writing 仍是 NLI 数据集构建的最佳选择。
natural language inferencenli datasetswriting-based annotationcrowdworker writingtransfer learning
发现论文，激发创造
  • 文本蕴涵数据收集的新协议和负面结果

    该研究提出了四种新的众包协议来收集 NLI 数据集，以改善训练样本的质量和多样性，然而实验结果表明这些新方法在迁移学习的任务中没有优势，但它们可以显著降低注释文本中的问题。

    Apr, 2020

  • 自然语言推理数据中的注释问题

    该研究通过大规模数据集研究了自然语言推理，并揭示了某些语言现象与推理类别高度相关的结论，进一步表明自然语言推理模型的成功被高估了，这个任务仍是一个难题。

    Mar, 2018

  • WANLI: 工人与人工智能合作创建自然语言推理数据集

    通过使用自然语言生成技术和人工智能协作来创造数据集，以及使用 WANLI 数据集训练模型取得了较高精度，具有以下关键词：众包、NLP 数据集、数据集创作、人工智能、自然语言推理

    Jan, 2022

  • 探究文本蕴涵数据集中的偏见

    本研究分析了 SNLI 和 MultiNLI 数据集中逻辑关系的数据偏差程度及其影响，并提出一种简单的方法来降低数据集中的数据偏差。我们发现仅对 SNLI 数据集中的假设进行分类，就能产生 64% 的准确率。

    Jun, 2019

  • 如何制定有效的群众外包协议以解决困难的自然语言理解（NLU）数据收集任务？

    本文以多项选择问题回答为测试基础，运用随机实验、数据收集协议及专家评估对比效果，发现训练众包工作者并采用迭代数据收集、传递回馈、基于专家判断进行筛选更为有效，但将普通众包判断及回馈替换为专家判断及回馈则效果不佳，最终观察到具有专家评估的迭代协议数据等级高于基线协议数据，并且人 - 模型差距大约是基准协议数据的两倍。

    Jun, 2021

  • 多前提自然语言推理

    该论文定义了一项新的文本蕴含任务，要求对多个前提句子进行推断，提出了一个新的数据集来最小化平凡的词汇推理，强调对日常事件的知识，并为文本蕴含提出了一个更具挑战性的环境；同时评估了多种强力神经网络基线，并分析多个前提任务与标准文本含义的区别。

    Oct, 2017

  • 跨语言推理的基准线和测试数据

    本文提出将 SNLI 风格自然语言推断的研究推向多语言评估，为阿拉伯语，法语，西班牙语和俄语提供测试数据，并使用跨语言词嵌入和机器翻译构建基线系统，最终系统的平均准确率超过了 75％，并着重实现了多语言推断的进一步研究。

    Apr, 2017

  • 用于学习自然语言推理的大规模注释语料库

    通过引入 Stanford 自然语言推理语料库，我们成功解决了机器学习研究在自然语言推理方面的巨大缺乏，该语料库是由人类按照基于图像字幕的新颖本体任务撰写的标记句子对，包含 570k 个句子对，是同类资源的两个量级以上，在规模方面取得了重大进展，这使得词汇分类器优于一些复杂的现有蕴含模型，并且让一种基于神经网络的模型在自然语言推理基准测试中首次表现亮眼。

    Aug, 2015

  • AnnoLLM: 使大型语言模型成为更好的众包注释工具

    本文提出了一种基于大型语言模型的数据注释方法，通过提示示例和解释的方式，实现了无监督的数据注释，实验结果表明该方法优于众包注释方法。

    Mar, 2023

  • 保持中立：使用自然语言推断改进生成

    本研究探讨了把自然语言推理（NLI）整合到文本生成管道中的方法，使用预训练的 NLI 模型评估生成的句子是否与提示和前文相符、矛盾或中立。最终结果表明，NLI 策略最大化中立类提高了生成文本的质量，而不是其他两种策略，无论参数值如何，该策略都比普通生成的文本质量更高。

    Feb, 2023