多前提自然语言推理
通过引入 Stanford 自然语言推理语料库,我们成功解决了机器学习研究在自然语言推理方面的巨大缺乏,该语料库是由人类按照基于图像字幕的新颖本体任务撰写的标记句子对,包含570k个句子对,是同类资源的两个量级以上,在规模方面取得了重大进展,这使得词汇分类器优于一些复杂的现有蕴含模型,并且让一种基于神经网络的模型在自然语言推理基准测试中首次表现亮眼。
Aug, 2015
本文提出了一种新的神经模型,使用长短时记忆单元读取两个句子以确定蕴含关系,通过逐词的注意机制对每个单词和短语的蕴含进行推理,该模型在大型蕴含数据集上表现出了更好的性能,并且是第一个在文本蕴含数据集上实现最先进准确度的通用端到端可导系统。
Sep, 2015
该论文提出了一项新的任务,即通过一个源句子生成一个蕴含的句子,使用带有关注力的LSTM模型对斯坦福自然语言推理语料库的蕴含对进行训练,在手动注释的测试集上,82%的生成句子是正确的,还使用递归方法生成自然语言推理链,从而自动构造了一个蕴含图。
Jun, 2016
本文研究了使用子树级别的attention模型进行文本蕴含任务,相比基于硬对齐和逻辑的传统模型具有更强鲁棒性和更高准确度,并且扩展attention模型到树节点可以更好地利用语法和递归信息提高准确度。
Jan, 2017
介绍了一个新的逻辑蕴涵的数据集,用于测量模型在逻辑表达式的结构方面捕捉和利用的能力,比较了多个体系结构以及一个新的模型类PossibleWorldNets,并表明卷积网络在这类问题上呈现了错误的归纳偏差,相对于LSTM RNNs,树状神经网络由于其增强了利用逻辑语法的能力而优于LSTM RNNs,而 PossibleWorldNets 优于所有基准。
Feb, 2018
本文介绍了一种使用外部结构化知识库填补科学知识差距的模型,将标准神经模型与知识查找模块相结合,在使用科学知识库和文本先验信息验证子事实后,NSnet模型在SciTail数据集上比基准模型性能提高了5%。
Aug, 2018
本文探讨如何通过Few-shot学习和文本蕴含来实现通用的NLP任务解决方案,并且说明文本蕴含可以应用于多种Downstream NLP任务,用于解决数据稀缺的情况。
Oct, 2020
该研究通过比较人类和大型语言模型(LLMs)之间的推理判断的共性和差异,以及对三个类别(NLI、contextual QA和rationales)的多个数据集进行评估,揭示了LLMs在复杂推理环境中的多步推理上的优势和人类在简单推理方面的优势,并引入了一种经过精细调整的Flan-T5模型来提高自洽性,在三个多项选择问答数据集上平均提高了6%的性能。
Feb, 2024
理论上,LMs通过其训练数据中的共现模式推导文本的语义信息;本研究调查其理论是否可用于从神经LMs中解码蕴含关系,结果显示与他们类似的测试可以在多个数据集和LMs上解码语义蕴含关系,这表明LMs隐含地建模了语义方面以预测句子共现模式的语义影响。
Feb, 2024
我们通过构建和评估直观的基于证明的文本蕴涵树,消除对脆弱形式逻辑的依赖,提出了一种一致且理论基础的方法来注释解构蕴涵的数据集,我们发现生成的RDTE数据集在内部一致性上比以前的数据集高出9%,并且通过在现代神经符号推理引擎中使用RDTE导向的蕴涵分类器进行训练,显著提高了文本推理的结果(准确性和证明质量),说明了这一进展在实践中的益处。
Feb, 2024