来自开放域表格的逻辑自然语言生成
本研究提出了一种模型无关的逻辑框架,以确定每个输入中负责每个模型决策的特定信息并生成可解释的自然语言推理模型,其性能优于当前最先进的神经模型,适用于高度挑战性的 ANLI 数据集。
May, 2023
通过提出预先训练逻辑形式生成器(PLOG)框架,该框架首先在表格生成逻辑形式的任务上进行了预训练,然后在下游的表格到文本任务上进行 fine-tuning,可以有效地提高表格到文本生成模型的逻辑水平。在两项基准测试中,PLOG 在逻辑水平上都优于现有的强基准线,证明了表格到逻辑形式预训练的有效性。
May, 2022
本研究提出了一种基于语义控制 LSTM 结构的统计自然语言生成器,通过交叉熵训练标准优化句子规划和语言表现,可轻松实现语言变化,并通过两个不同测试域的客观评价和人工评分表明该方法相对于先前方法具有更好的性能和自然度。
Aug, 2015
该论文提出了一种实际的半自动数据增强框架,可以为半结构化表格推理等 NLI 任务构建训练数据。使用生成可应用于相似表格的假设模板生成假设并基于人类逻辑约束和前提重述创建有理的反事实表。该框架可以产生类人的表推理示例,可在有限监督的情况下提高训练数据的规模。
Oct, 2022
本文研究使用深度学习技术回答多步推理问题的方法,该方法基于自然语言问句生成机器可理解的逻辑形式,使用字符和单词 CNN 同时嵌入逻辑形式和问句,并使用神经评分函数检索问题的最可能逻辑形式,取得 38.7% 的最佳性能。
Feb, 2017
将逻辑注入语言模型的新型基于图的语言模型 Logical-GLM,通过捕捉自由形式文本中所包含的隐含规则,并生成逻辑骨架以指导语言模型的训练,从而实现更准确的文本生成和可解释性,并通过使用逻辑图反映语言模型的内在机制提高黑盒模型的可解释性。
Aug, 2023
本研究提出了 ParaPattern,该方法利用自动化流程从维基百科生成训练数据,并使用 BART 模型在无直接人类监督下从多样的自然语言输入中生成演绎推理,结果表明,ParaPattern 模型在无领域训练数据的情况下,表现优于基线系统。
Apr, 2021
本文介绍了 FOLIO 数据集,其为具有 FOL 注释的自然语言推理(NL)数据集,可用于推理 NL 的有效性,包括了 NL-FOL 翻译数据集。文中还通过实验验证了中等型语言模型(BERT、RoBERTa)和大型语言模型(GPT-NeoX、OPT、GPT-3、Codex)在 FOL 推理方面的能力以及 GPT-3 和 Codex 用于 NL-FOL 翻译的效果。
Sep, 2022
本论文提出了 LogicalFactChecker,这是一种基于神经网络的方法,能够利用逻辑操作来进行事实检查,并且在 TABFACT 数据集上实现了最先进的性能,通过 Transformer-based 架构构建基于图形模块网络的异构图使得每个单词在语句、表格和程序中的相关上下文都能被观察到,并通过程序驱动的模块网络进一步利用了程序的层次结构。
Apr, 2020