e-SNLI: 自然语言推理和自然语言解释
通过引入 Stanford 自然语言推理语料库,我们成功解决了机器学习研究在自然语言推理方面的巨大缺乏,该语料库是由人类按照基于图像字幕的新颖本体任务撰写的标记句子对,包含570k个句子对,是同类资源的两个量级以上,在规模方面取得了重大进展,这使得词汇分类器优于一些复杂的现有蕴含模型,并且让一种基于神经网络的模型在自然语言推理基准测试中首次表现亮眼。
Aug, 2015
本文研究在于如何用外部的知识来丰富神经网络的自然语言推理模型,并展示了这些模型如何在 SNLI 和 MultiNLI 数据集上实现最先进的性能水平。
Nov, 2017
本文提出一种使用简单LSTM架构的零样本句子对标记来生成自然语言推理的token级解释的方法,并使用SNLI数据集进行了实验,与黑盒方法相比,白盒方法的匹配精度较低。
Apr, 2019
本文提到了一个新的SNLI-VE corpus数据集,用于识别视觉-文本蕴含,介绍了一个数据收集的过程去修正该数据集的标签错误,进一步评估了更正在的数据集SNLI-VE-2.0,并且提供了开源的人写的自然语言解释用于训练模型,最后测试它们的表现。
Apr, 2020
探究利用自然语言解释来监督模型的注意力权重,促使其更集中于解释中的关键词,从而提高模型性能,此方法的实验表明,这种改进可以适用于其它NLI数据集
Apr, 2021
介绍了DocNLI数据集,它是基于广泛的NLP问题构建的,涵盖了文本的多种类型和文档层级上的NLI,而不是仅仅句子层级上的。实验表明,即使没有微调,预训练于DocNLI上的模型在流行的句子级基准测试中表现良好,并且推理到文档层级上的跨域NLP任务具有良好的泛化性能。
Jun, 2021
本文介绍了 SciNLI,它是一个用于 NLU 的大型 NLI 数据集,旨在捕捉科学文本中的规范性,并包含107,412个从NLP和计算语言学方面的学术论文中提取的句子对。我们的实验表明,SciNLI比现有的NLI数据集更难分类。使用XLNet的最佳模型仅实现了78.18%的 Macro F1得分和78.23%的准确度,表明还有很大的改进空间。
Mar, 2022
通过引入基于逻辑推理的框架,创造出基于逻辑规则的非常透明的模型决策,从而提高自然语言推理模型的可解释性和鲁棒性,并在减少数据的情况下更进一步地改善了模型性能和鲁棒性。
May, 2022
INTERACTION 是一个生成性 XAI 框架,提供两个步骤的术语解释生成方法,具有 better performance 和多样性。
Sep, 2022
在自然语言推理领域中,交叉熵损失度量被广泛应用于多输入文本分类任务,但该度量方式在有效评估模型理解语义蕴涵能力方面存在不足。本研究引入一种创新技术,通过自动替换动词、副词和形容词的近义词来产生斯坦福自然语言推理数据集的对比集,以评估模型表现是否基于真实语言理解还是仅仅基于模式识别。研究使用ELECTRA-small模型进行分析,模型在常规的自然语言推理数据集上达到89.9%的准确率,但在对比集上准确率降低到了72.5%,下降了17%。由此结果导致我们对模型的学习行为进行了详细考察,然后通过针对自然语言推理数据集的对比增强训练数据集对模型进行微调,将其准确率提升到了85.5%。我们的研究结果强调了在自然语言推理任务中加入多样化的语言表达的重要性,希望能促进创建更包容的数据集,从而推动更为复杂和有效的自然语言推理模型的发展。
Apr, 2024