ACLJan, 2021

SICKNL: 用于荷兰语自然语言推理的数据集

PDF
TL;DRSICK-NL is presented as a challenging dataset for Natural Language Inference in Dutch, obtained by translating SICK dataset into Dutch and evaluating multilingual NLP models with a baseline evaluation, showing worse performance compared to the English original and lack of capturing word order freedom.
natural language inferencedutchparallel inference datasetmultilingual nlp modelscontextualised embedding models
发现论文，激发创造
  • 日语文本蕴涵和相似性的组合评估

    本论文介绍了 JSICK，一个从英语数据集 SICK 人工翻译而来的日语 NLI/STS 数据集。我们对不同的预训练语言模型进行了基准实验，并比较了多语言模型在日语和其他语言中的表现。压力测试实验的结果表明，当前的预训练语言模型对于单词顺序和语义标记不敏感。

    Aug, 2022

  • 用于自然语言推理复杂组合知识评估的合成数据集

    本研究介绍了一个名为 SICCK 的合成数据集和一种新颖的分析方法，通过修改自然语言推理（NLI）模型可理解逻辑组成性的性能，并发现 NLI 模型在零 - shot 和精调情况下对带有量词和否定的修饰语进行修改后的句子表现不佳。

    Jul, 2023

  • IndoNLI：一个印尼自然语言推理数据集

    我们提出了 IndoNLI 数据集，这是第一个人类收集的适用于印度尼西亚语的 NLI 数据集。我们采用 MNLI 的数据收集协议，收集了近 18K 个由众包工人和专家标注的句子对。实验结果表明，在我们的数据中，XLM-R 的性能优于其他预训练模型。最佳性能仍然远低于人类性能（13.4％的准确度差距），表明此测试集具有特别的挑战性。此外，我们的分析显示，我们的专家标注数据比众包标注数据更加多样化，注释工件更少。我们希望这个数据集可以帮助加快印尼自然语言处理研究的进展。

    Oct, 2021

  • 临床领域自然语言推理的启示

    介绍了 MedNLI 数据集的自然语言推理任务 (NLI)，并提出了两种解决深度神经网络模型在特定领域泛化能力差的方法：利用开放域数据集进行迁移学习和结合外部数据和词汇来源的领域知识。实验结果表明，两种方法均可提高模型性能。

    Aug, 2018

  • NLICE：用于高效初级保健差异诊断的合成医疗记录生成

    本研究提供了一种系统方法，用于创建用于差异诊断活动的基于医疗知识的患者记录，并评估了可以根据给定症状区分不同状况的机器学习模型。

    Jan, 2024

  • 基于通用语言模型的非英语医学自然语言处理注释数据集构建

    介绍了如何利用预训练语言模型提升非英语医学文本处理的 NLP 任务效率和数据集命中率，并且用我们的方法在德语文本上训练了一个医学 NER 模型 GPTNERMED。

    Aug, 2022

  • ViANLI: 针对越南语的对抗自然语言推理

    通过预训练模型在标注过程中使用，本文介绍了对自然语言推理进行研究的越南 NLVS 数据集 ViANLI，并证明基于该数据集训练的模型显著提高了其他越南自然语言推理数据集的结果。

    Jun, 2024

  • 荷兰大规模语言模型的语言资源

    尽管大型语言模型的类型不断扩大，但荷兰语模型仍存在显著差距，该研究提供了一小步来改善这一状况，引入两个经过微调的 Llama 2 13B 模型变种，使用荷兰特定网络爬取数据进行微调，随后在多个合成指令和聊天数据集上进一步优化模型，同时提供数据集和模型权重，并提供一个评估指标来追踪（荷兰）模型在多个生成任务上的性能，包括一些先进模型的结果，最后对需要推进荷兰语模型以及整个模型生态系统所需的关键点进行了关键性结论。

    Dec, 2023

  • 探索预训练语言模型中的疾病知识

    本文介绍一种新的基准测试 ——DisKnE，用于评估疾病知识。该测试使用正例进行注释，并以对抗性的方式构建负例。在对临床 / 生物医学领域的预训练模型进行测试时，发现它们的表现大幅下降。

    Jun, 2021

  • 跨语言推理的基准线和测试数据

    本文提出将 SNLI 风格自然语言推断的研究推向多语言评估，为阿拉伯语，法语，西班牙语和俄语提供测试数据，并使用跨语言词嵌入和机器翻译构建基线系统，最终系统的平均准确率超过了 75％，并着重实现了多语言推断的进一步研究。

    Apr, 2017