Logic2Text: 从逻辑形式生成高保真自然语言
本研究探讨了一种新型的自然语言生成任务,在半结构化表格中,生成可逻辑推断的自然语言陈述,并提出了新的自动评估指标。探讨使用 LSTM、Transformer、预训练语言模型等方法及其算法的表现,并发现预训练语言模型可以将流畅性和逻辑发挥至最大。
Apr, 2020
Logic2Text 是为生成受表格和逻辑形式控制的、忠实的文本而设计的,要求进行深入的表格和逻辑形式理解,并对表格进行符号推理。该研究提出使用因果视角分析偏差,并提出一种使用逻辑形式的分层结构和对抗数据进行训练的方法以减轻该偏差的影响,从而发展出具有真正逻辑推理能力的逻辑生成模型。
Oct, 2022
本文提出了一种利用逻辑形式实现内容计划的模型 LoFT,通过验证逻辑形式实现生成逻辑上准确,内容多样的逻辑文本生成,目前在 LogicNLG 数据集上是第一个同时解决准确性和多样性问题的模型。
Feb, 2023
通过提出预先训练逻辑形式生成器(PLOG)框架,该框架首先在表格生成逻辑形式的任务上进行了预训练,然后在下游的表格到文本任务上进行 fine-tuning,可以有效地提高表格到文本生成模型的逻辑水平。在两项基准测试中,PLOG 在逻辑水平上都优于现有的强基准线,证明了表格到逻辑形式预训练的有效性。
May, 2022
给定一个表格和内容的选择,TlT 首先生成逻辑形式(LFs),然后生成文本陈述,我们首次展示了自动的 LFs 如何提高质量,与不使用 LFs 的类似系统相比,其忠实度提高了 30 个点,我们的实验可以量化高度事实正确性的剩余挑战,内容的自动选择是首要问题,其次是更好的逻辑到文本生成,以及在较小程度上,更好的表格到逻辑解析。
Oct, 2023
本文介绍了 FOLIO 数据集,其为具有 FOL 注释的自然语言推理(NL)数据集,可用于推理 NL 的有效性,包括了 NL-FOL 翻译数据集。文中还通过实验验证了中等型语言模型(BERT、RoBERTa)和大型语言模型(GPT-NeoX、OPT、GPT-3、Codex)在 FOL 推理方面的能力以及 GPT-3 和 Codex 用于 NL-FOL 翻译的效果。
Sep, 2022
使用大型语言模型进行自然语言到可视化的转换任务,在分析如何将结构化表格数据转化为 LLM 所需的顺序文本提示时,发现将结构化表格数据转化为程序是有效的,并且在制定提示时考虑表格模式是必要的。同时,通过对比实验发现,LLM 在 NL2Vis 任务中优于基线方法,并且推理模型在提供少量示范的情况下通过上下文学习能够进一步改善性能,时而甚至超过微调模型。最后,分析 LLM 在 NL2Vis 任务中失败的情况,并提出了循环更新的策略,通过链式思维、角色扮演和代码解释等方法来迭代更新结果,实验证实了这种迭代更新的有效性,具有广阔的未来研究潜力。
Apr, 2024
提出了一种使用大型语言模型进行自然语言到时间逻辑(Temporal Logic)转换的框架,实现了跨领域通用模型的构建,提高了模型泛化能力,并在五个不同领域上进行了测试,效果良好。
May, 2023
将逻辑注入语言模型的新型基于图的语言模型 Logical-GLM,通过捕捉自由形式文本中所包含的隐含规则,并生成逻辑骨架以指导语言模型的训练,从而实现更准确的文本生成和可解释性,并通过使用逻辑图反映语言模型的内在机制提高黑盒模型的可解释性。
Aug, 2023
LogicLLaMA 是一种基于 LLaMA-7B 模型的、使用 LoRA 进行 NL-FOL 翻译的算法,通过新颖的 SFT+RLHF 框架进行调整,能够将自然语言直接翻译为一阶逻辑规则,并具有对 GPT-3.5 生成的规则进行校正的能力。
May, 2023