Sep, 2020

FarsTail：波斯语自然语言推理数据集

PDF
TL;DR该研究介绍了一个用于波斯语自然语言推理任务的新数据集，名为 FarsTail。FarsTail 数据集包括 10,367 个样本，该数据集同时提供波斯语以及用于非波斯语研究人员的索引格式。通过对该数据集进行评测和分析，得出目前 NLP 任务中深度学习方法在该领域的表现差距较大，该数据集可以为不同语言的自然语言处理研究提供坚实的基础。
发现论文，激发创造
  • ParsiNLU: 波斯语语言理解挑战套件

    本文介绍第一个波斯语 NLU 基准数据集 ParsiNLU，并在此基础上与人类表现进行比较，为波斯语理解的研究和进展提供了有价值的洞察力。

    Dec, 2020

  • IndoNLI：一个印尼自然语言推理数据集

    我们提出了 IndoNLI 数据集，这是第一个人类收集的适用于印度尼西亚语的 NLI 数据集。我们采用 MNLI 的数据收集协议，收集了近 18K 个由众包工人和专家标注的句子对。实验结果表明，在我们的数据中，XLM-R 的性能优于其他预训练模型。最佳性能仍然远低于人类性能（13.4％的准确度差距），表明此测试集具有特别的挑战性。此外，我们的分析显示，我们的专家标注数据比众包标注数据更加多样化，注释工件更少。我们希望这个数据集可以帮助加快印尼自然语言处理研究的进展。

    Oct, 2021

  • DocNLI: 一个大规模的文档级自然语言推理数据集

    介绍了 DocNLI 数据集，它是基于广泛的 NLP 问题构建的，涵盖了文本的多种类型和文档层级上的 NLI，而不是仅仅句子层级上的。实验表明，即使没有微调，预训练于 DocNLI 上的模型在流行的句子级基准测试中表现良好，并且推理到文档层级上的跨域 NLP 任务具有良好的泛化性能。

    Jun, 2021

  • 土耳其自然语言推理的数据和表示

    本研究旨在利用商业机器翻译系统自动翻译英语数据集以进行 Turkish NLI 模型的训练，发现语言内嵌入是必要的，并且在训练集较大时可以避免形态分析。最终，我们发现这些模型在人工翻译的评估集上表现良好，并将所有的代码、模型和数据公开分享。

    Apr, 2020

  • 波斯语自然语言推理：元学习方法

    本文提出了一种元学习方法，结合多语言预训练表示和跨语言转移学习，推断波斯语自然语言，探讨任务增强策略在形成高质量任务方面的角色，并通过零 - shot 评估和 CCA 相似度找到适当的初始参数，相对于基线方法，该模型表现出了更好的性能。

    May, 2022

  • 一种用于 NLI 模型领域泛化的合成数据方法

    自然语言推理是语言模型的重要基准任务，在领域泛化上的问题中，我们通过生成多样化的合成 NLI 数据，使得模型在全新的下游测试环境中具有最佳的泛化性能。

    Feb, 2024

  • 机器翻译用于生成命名实体数据集的潜力探索：波斯语和英语之间的案例研究

    通过将机器翻译应用于英语数据集，本研究聚焦于生成波斯语命名实体数据集。通过实验评估，最高的 F1 分数是 CoNLL 2003 数据集的 85.11％。本研究的结果强调了机器翻译在为低资源语言（如波斯语）创建高质量的命名实体识别数据集方面的潜力，并提供了有关机器翻译在此任务中有效性的见解。此外，此方法可用于增强低资源语言中的数据或创建嘈杂数据以使命名实体系统更加稳健并改进它们。

    Feb, 2023

  • ViANLI: 针对越南语的对抗自然语言推理

    通过预训练模型在标注过程中使用，本文介绍了对自然语言推理进行研究的越南 NLVS 数据集 ViANLI，并证明基于该数据集训练的模型显著提高了其他越南自然语言推理数据集的结果。

    Jun, 2024

  • 一种无需特定语言训练数据的深度自然语言推理预测器

    我们提出了一种 NLP 技术，利用通用翻译数据集和知识蒸馏技术，通过两个预训练模型在源语言和目标语言上的表现实现了目标语言的句子关系推理，该技术在多个任务上展现了普适性。

    Sep, 2023

  • MSciNLI：科学自然语言推理的多样基准

    科学自然语言推理（NLI）的任务涉及预测从研究文章中提取的两个句子之间的语义关系。本文介绍了多样性科学 NLI 任务，并提出了 MSciNLI，这是一个包含 132,320 个从五个新科学领域中提取的句子配对的数据集。通过精调预训练语言模型和促使大型语言模型建立了 MSciNLI 的强基准。最高的 PLM 和 LLM 基准的宏 F1 分数分别为 77.21% 和 51.77%，说明 MSciNLI 对这两种模型来说都具有挑战性。此外，我们证明了领域转移降低了科学 NLI 模型的性能，从而证明了我们数据集中不同领域的多样性特征。最后，我们在中间任务迁移学习设置中使用了两个科学 NLI 数据集，并展示了它们可以提高科学领域下游任务的性能。我们在 Github 上提供了数据集和代码。

    Apr, 2024