EMNLPMay, 2022

PLOG：表格到逻辑预训练用于逻辑表格到文本生成

PDF
TL;DR通过提出预先训练逻辑形式生成器（PLOG）框架，该框架首先在表格生成逻辑形式的任务上进行了预训练，然后在下游的表格到文本任务上进行 fine-tuning，可以有效地提高表格到文本生成模型的逻辑水平。在两项基准测试中，PLOG 在逻辑水平上都优于现有的强基准线，证明了表格到逻辑形式预训练的有效性。
table-to-text generationlogical inferencepretrained logical form generatorcontrolled logical table-to-text datasettable-to-logic pretraining
发现论文，激发创造
  • Logic2Text: 从逻辑形式生成高保真自然语言

    本文旨在从逻辑形式出发，探讨基于结构化数据的自然语言生成，在介绍新数据集的同时，实验了多个生成模型并分析了它们的表现。

    Apr, 2020

  • 来自开放域表格的逻辑自然语言生成

    本研究探讨了一种新型的自然语言生成任务，在半结构化表格中，生成可逻辑推断的自然语言陈述，并提出了新的自动评估指标。探讨使用 LSTM、Transformer、预训练语言模型等方法及其算法的表现，并发现预训练语言模型可以将流畅性和逻辑发挥至最大。

    Apr, 2020

  • 逻辑形式控制下提升表格到文本生成的忠实度和多样性的 LoFT

    本文提出了一种利用逻辑形式实现内容计划的模型 LoFT，通过验证逻辑形式实现生成逻辑上准确，内容多样的逻辑文本生成，目前在 LogicNLG 数据集上是第一个同时解决准确性和多样性问题的模型。

    Feb, 2023

  • 通过反事实样本研究从逻辑形式生成自然语言的鲁棒性

    Logic2Text 是为生成受表格和逻辑形式控制的、忠实的文本而设计的，要求进行深入的表格和逻辑形式理解，并对表格进行符号推理。该研究提出使用因果视角分析偏差，并提出一种使用逻辑形式的分层结构和对抗数据进行训练的方法以减轻该偏差的影响，从而发展出具有真正逻辑推理能力的逻辑生成模型。

    Oct, 2022

  • 自动逻辑形式提高表格到文本生成的准确性

    给定一个表格和内容的选择，TlT 首先生成逻辑形式（LFs），然后生成文本陈述，我们首次展示了自动的 LFs 如何提高质量，与不使用 LFs 的类似系统相比，其忠实度提高了 30 个点，我们的实验可以量化高度事实正确性的剩余挑战，内容的自动选择是首要问题，其次是更好的逻辑到文本生成，以及在较小程度上，更好的表格到逻辑解析。

    Oct, 2023

  • LogiGAN: 基于对抗预训练的逻辑推理学习

    LogiGAN 是一种无监督的、改进语言模型逻辑推理能力的对抗预训练框架，采用检测启发式方法自动识别大规模文本语料库中的逻辑推理现象，并通过敌对的生成 - 验证者架构来模拟学习思考过程的促进作用。实验表明，采用 LogiGAN 预训练后的语言模型在需要普遍推理能力的 12 个数据集上表现明显优于基线，揭示了逻辑在广泛推理中的基础作用以及 LogiGAN 的有效性。

    May, 2022

  • 控制前缀的少样本表格转文本生成器

    本文提出了一种前缀控制生成器 (Prefix-Controlled Generator) 的方法，应用于神经表格文本生成中的少样本学习问题，该方法使用预训练语言模型，并在输入处加入特定前缀以更好地适应表格结构，同时通过输入特定前缀控制生成的文本的内容和单词顺序，基于 Wikibio 数据集的人类、书籍和歌曲等不同领域的自动和人工评估结果均表明，该方法相对于基线方法取得了实质性的改进。

    Aug, 2022

  • 基于逻辑图的语言模型的指令生成规划

    将逻辑注入语言模型的新型基于图的语言模型 Logical-GLM，通过捕捉自由形式文本中所包含的隐含规则，并生成逻辑骨架以指导语言模型的训练，从而实现更准确的文本生成和可解释性，并通过使用逻辑图反映语言模型的内在机制提高黑盒模型的可解释性。

    Aug, 2023

  • 从半结构化表格中生成样例，赋予语言模型推理技能

    本文提出了一种基于预训练的方法，通过利用半结构化表格自动生成问题 - 段落对，以检验模型的推理能力，并且通过采样策略来提高模型训练的效率，在三个涉及推理的阅读理解数据集上证明了我们的模型相比于现有流行模型 T5 表现更优。

    Jul, 2021

  • 大型语言模型是有效的表格到文本生成器、评估器和反馈提供者

    本研究研究了大型语言模型在生成结构化表格数据文本时的性能，证明了大型语言模型在文本生成领域中的潜力和应用，并探讨了大型语言模型在文本生成质量自动评估及模型优化中的应用。

    May, 2023