这篇论文提出了一个层次化的数值推理技能分类法,涵盖四个级别的十多种推理类型。通过对先进模型进行全面评估,并开发了一组多样化的数值探针,论文发现在所有数值推理类型中,FlanT5(无 / 少数据)和 GPT-3.5(少数据)相对其他模型表现出强大的整体数值推理技能。标签颠倒探针表明模型经常利用数据集的特征来预测正确的标签。
Nov, 2023
本文研究使用深度学习技术回答多步推理问题的方法,该方法基于自然语言问句生成机器可理解的逻辑形式,使用字符和单词 CNN 同时嵌入逻辑形式和问句,并使用神经评分函数检索问题的最可能逻辑形式,取得 38.7% 的最佳性能。
Feb, 2017
该论文提出了一种实际的半自动数据增强框架,可以为半结构化表格推理等 NLI 任务构建训练数据。使用生成可应用于相似表格的假设模板生成假设并基于人类逻辑约束和前提重述创建有理的反事实表。该框架可以产生类人的表推理示例,可在有限监督的情况下提高训练数据的规模。
Oct, 2022
本研究探讨了一种新型的自然语言生成任务,在半结构化表格中,生成可逻辑推断的自然语言陈述,并提出了新的自动评估指标。探讨使用 LSTM、Transformer、预训练语言模型等方法及其算法的表现,并发现预训练语言模型可以将流畅性和逻辑发挥至最大。
Apr, 2020
通过引入基于逻辑推理的框架,创造出基于逻辑规则的非常透明的模型决策,从而提高自然语言推理模型的可解释性和鲁棒性,并在减少数据的情况下更进一步地改善了模型性能和鲁棒性。
May, 2022
通过对大型语言模型的研究,揭示了它们在解释和推理表格数据方面的能力,发现表格结构变化对模型性能的影响,提出了表格结构归一化的方法,并且比较了文本推理和符号推理,同时通过多个推理路径的聚合,取得了在 WIKITABLEQUESTIONS 任务上的最新成果。
Dec, 2023
本文介绍了一个名为 INFOTABS 的新数据集,它由基于来自维基百科信息框的表格的前提条件的人工编写的文本假设组成。 该研究表明,尽管人类标注者同意表格 - 假设对之间的关系,但是多个标准建模策略在此任务中效果不佳,表明表格推理可能会带来困难的建模挑战。
May, 2020
本文探讨了如何评估语义特征对语言模型预测的因果效应以及如何利用因果分析方法构建比较模型来评估 NLI 任务,强调因为可解释性和模型评估的需要,对于具有足够结构化和规律性的推理模式进行系统分析是非常有价值的
May, 2023
本研究通过比较语义结构来表示前提和假设之间的语义关系,使用可解释的度量标准计算假设是否是前提的语义子结构,并在三个英文基准测试中评估了使用语境化嵌入和语义图表达的价值,并发现它们提供了互补的信号,并可以在混合模型中一起利用。
Jun, 2023
本文通过研究表格自然语言推理问题,针对文本的预训练上下文嵌入等现代自然语言处理方法在表格信息方面所面临的独特挑战,提出了有效的信息呈现改进,经过系统实验表明这些方法可以大幅提高模型的表格推理性能。
Apr, 2021