EMNLPOct, 2021

IndoNLI：一个印尼自然语言推理数据集

PDF
TL;DR我们提出了 IndoNLI 数据集，这是第一个人类收集的适用于印度尼西亚语的 NLI 数据集。我们采用 MNLI 的数据收集协议，收集了近 18K 个由众包工人和专家标注的句子对。实验结果表明，在我们的数据中，XLM-R 的性能优于其他预训练模型。最佳性能仍然远低于人类性能（13.4％的准确度差距），表明此测试集具有特别的挑战性。此外，我们的分析显示，我们的专家标注数据比众包标注数据更加多样化，注释工件更少。我们希望这个数据集可以帮助加快印尼自然语言处理研究的进展。
indonlinli datasetindonesian nlp researchxlm-rlinguistic phenomena
发现论文，激发创造
  • IndicXNLI: 评估印度语言的多语言推理

    本文介绍了 IndicXNLI，一个 NLI 数据集，用于 11 种印度语言的跨语言转移技术的分析，研究了不同的预训练模型、语言、多语言和混合语言输入等因素对预训练模型的行为的影响。

    Apr, 2022

  • ViANLI: 针对越南语的对抗自然语言推理

    通过预训练模型在标注过程中使用，本文介绍了对自然语言推理进行研究的越南 NLVS 数据集 ViANLI，并证明基于该数据集训练的模型显著提高了其他越南自然语言推理数据集的结果。

    Jun, 2024

  • OCNLI: 原生中文自然语言推理

    本篇论文针对全球大部分语言缺乏可靠的自然语言推理（NLI）数据集这一问题，提出了中国的首个大规模 NLI 数据集，并采用语言学专家来对其进行注释。通过使用中文预训练模型，对数据集进行了基线测试，发现即使是表现最好的模型，其性能也远远落后于人类，因此这一具有挑战性的新资源有望帮助加速中文 NLU 的进展。该数据集是首个非英语语言的人采集的 MNLI 风格数据集。

    Oct, 2020

  • IndoNLU: 评估印度尼西亚语自然语言理解的基准和资源

    本研究引入了印度尼西亚自然语言理解（IndoNLU）任务的第一个巨大资源及其预训练模型 IndoBERT，包括从单句分类到对句子序列标记的 12 个任务，并提供了基准模型和评估框架以使每个人都能评估自己的系统性能。

    Sep, 2020

  • XNLI 2.0：改进 XNLI 数据集和跨语言理解（XLU）性能

    本篇研究通过重新翻译 14 种不同语言的 MNLI 数据集，包括 XNLI 测试和开发集，以改进原始 XNLI 数据集，并通过在 15 种不同语言中训练模型并分析其在自然语言推断任务上的表现来实现跨语言理解和自然语言处理，同时通过在英语以外的语言中训练模型来探索在资源匮乏的语言（如斯瓦希里和乌尔都语）中提高性能的可能性。

    Jan, 2023

  • DocNLI: 一个大规模的文档级自然语言推理数据集

    介绍了 DocNLI 数据集，它是基于广泛的 NLP 问题构建的，涵盖了文本的多种类型和文档层级上的 NLI，而不是仅仅句子层级上的。实验表明，即使没有微调，预训练于 DocNLI 上的模型在流行的句子级基准测试中表现良好，并且推理到文档层级上的跨域 NLP 任务具有良好的泛化性能。

    Jun, 2021

  • SciNLI：科学文本自然语言推理语料库

    本文介绍了 SciNLI，它是一个用于 NLU 的大型 NLI 数据集，旨在捕捉科学文本中的规范性，并包含 107,412 个从 NLP 和计算语言学方面的学术论文中提取的句子对。我们的实验表明，SciNLI 比现有的 NLI 数据集更难分类。使用 XLNet 的最佳模型仅实现了 78.18％的 Macro F1 得分和 78.23％的准确度，表明还有很大的改进空间。

    Mar, 2022

  • IndoLEM 和 IndoBERT: 印尼 NLP 的基准数据集和预训练语言模型

    发布了包括七个任务的 IndoLEM 数据集，以及新的预训练语言模型 IndoBERT 用于印度尼西亚语言，并在 IndoLEM 上进行了评估和与现有资源进行了基准测试。实验结果表明，IndoBERT 在 IndoLEM 的大部分任务上实现了最先进的性能。

    Nov, 2020

  • WANLI: 工人与人工智能合作创建自然语言推理数据集

    通过使用自然语言生成技术和人工智能协作来创造数据集，以及使用 WANLI 数据集训练模型取得了较高精度，具有以下关键词：众包、NLP 数据集、数据集创作、人工智能、自然语言推理

    Jan, 2022

  • 对抗性自然语言推理数据集分析

    本文提出了一种精细注释 Adversarial NLI 的方法，通过分析其数据集中不同方面的推理并使用手工编码，回答了一些问题，如哪种推理类型最常见，哪种模型在每种推理类型上的表现最好等，并希望这些注释可以使得对于 ANLI 训练的模型进行更细粒度的评估，更深入的了解模型失败和成功的原因，并且有助于在未来培训出更好的模型。

    Oct, 2020