使用词汇 - 语义约束生成生物医学自然语言推理数据集用于对抗样本
介绍了 MedNLI 数据集的自然语言推理任务 (NLI),并提出了两种解决深度神经网络模型在特定领域泛化能力差的方法:利用开放域数据集进行迁移学习和结合外部数据和词汇来源的领域知识。实验结果表明,两种方法均可提高模型性能。
Aug, 2018
通过间接监督,将生物医学关系抽取转化为自然语言推理,利用语义线索减轻注释稀缺性,通过排名损失隐式地校准生物医学关系抽取中的模糊示例,避免模型在未知关系上的猜测,结合 NLI 知识与生物医学知识,可在全量和低资源环境下获得最佳性能提升。
Dec, 2022
该研究提出了四种新的众包协议来收集 NLI 数据集,以改善训练样本的质量和多样性,然而实验结果表明这些新方法在迁移学习的任务中没有优势,但它们可以显著降低注释文本中的问题。
Apr, 2020
自然语言推理是语言模型的重要基准任务,在领域泛化上的问题中,我们通过生成多样化的合成 NLI 数据,使得模型在全新的下游测试环境中具有最佳的泛化性能。
Feb, 2024
本文研究了自动生成对抗样本的问题,通过最大化一种度量对抗样本的破坏程度的数量,并利用语言模型生成语言合理的样本,我们将识别此类对抗样本的问题减少为组合优化问题,并提出了一种对抗性规范化神经 NLI 模型以融入背景知识的方法,在 SNLI 和 MultiNLI 数据集上,我们的方法没有总是提高预测准确性,但在对抗性制作的数据集上,我们的方法显著并一致地增加了预测准确性,提高了 79.6%的相对改进,并大大减少了背景知识的违反数量。此外,我们还展示了对抗性样本在模型架构之间的转移作用,以及对抗性训练程序如何提高向对抗性样本的鲁棒性。
Aug, 2018
通过预训练模型在标注过程中使用,本文介绍了对自然语言推理进行研究的越南 NLVS 数据集 ViANLI,并证明基于该数据集训练的模型显著提高了其他越南自然语言推理数据集的结果。
Jun, 2024
介绍了一个通过迭代对抗人与模型的程序收集的大规模 NLI 基准数据集,并展示了训练模型在这个新数据集上将导致在各种流行的 NLI 基准测试中的最新性能,同时还带来了更困难的挑战。数据收集方法可以在永不停止的学习场景中应用,成为 NLU 的移动目标,而不是一个很快就会饱和的静态基准测试集。
Oct, 2019
本文介绍了 SciNLI,它是一个用于 NLU 的大型 NLI 数据集,旨在捕捉科学文本中的规范性,并包含 107,412 个从 NLP 和计算语言学方面的学术论文中提取的句子对。我们的实验表明,SciNLI 比现有的 NLI 数据集更难分类。使用 XLNet 的最佳模型仅实现了 78.18%的 Macro F1 得分和 78.23%的准确度,表明还有很大的改进空间。
Mar, 2022
本文提出了一种精细注释 Adversarial NLI 的方法,通过分析其数据集中不同方面的推理并使用手工编码,回答了一些问题,如哪种推理类型最常见,哪种模型在每种推理类型上的表现最好等,并希望这些注释可以使得对于 ANLI 训练的模型进行更细粒度的评估,更深入的了解模型失败和成功的原因,并且有助于在未来培训出更好的模型。
Oct, 2020
采用对抗性训练和敌对对抗方法的集成来降低自然语言推理中的偏见,这种方法比先前的去偏见努力表现更好,并且在推广到 12 个其他数据集时表现良好。
Apr, 2020