EMNLPApr, 2020

语法驱动的迭代扩展语言模型用于可控文本生成

PDF
TL;DR通过引入句法归纳偏差，使用依赖分析树驱动转换器模型迭代生成句子，实验证明其比 LSTM 和 Transformer 更有效，并具有可比拟的多样性且需要较少的解码步骤，生成过程允许对生成文本的句法构造进行直接控制，从而实现风格变形的归纳。
发现论文，激发创造
  • 神经文本生成的显式句法指导

    我们提出了一种基于句法树的语法引导生成模式，通过解码过程的两个部分:（1）对给定源句子中词汇化的句法上下文中的每个成分预测填充文本；（2）映射和扩展每个成分以构建下一级语法上下文以生成自然语言文本，并在重述生成和机器翻译上进行了实验。与自回归基线相比，该方法在有效性和可解释性方面更加出色。

    Jun, 2023

  • generAItor：用于语言模型解释性和适应性的树形循环文本生成器

    通过提出一种基于树的循环方法，将生成的输出结果进行分析、解释和适应，我们提出了一个名为 generAItor 的可视化分析技术，它通过在中央的搜索树上使用各种特定任务的小部件来提供目标可视化和交互。我们的技术支持多层次的交互，提供生成、探索、比较输出候选项以及根据适应数据来微调模型的迭代性流程。通过案例研究，我们证明了该工具在性别偏见分析方面产生了超越最先进模板方法的新见解。此外，我们还展示了该方法在定性用户研究中的适用性。最后，我们通过定量评估模型对少量样本的适应能力来评估其在文本生成用例中的可用性。

    Mar, 2024

  • 改变 Transformer 的思想以实现主题可控语言生成

    该研究设计了一个交互式写作辅助框架，它利用基于 Transformer 的语言模型为作者提供可能的续写文本主题，并允许作者选择其中一部分以引导生成，研究表明该框架的主题选择比标准的聚类方法更好且自监督的训练能够产生流畅且相关的句子。

    Mar, 2021

  • Transformer 语言模型的结构指导

    本论文研究了在不需要大量预训练的情况下，以结构为导向的指导是否能够使 Transformer 语言模型学习更接近人类的系统语言泛化。通过在 BLLIP 数据集上对两种新模型进行实验，研究者发现引入结构性解析的辅助训练能够提高 Transformer 语言模型在句法推理上的泛化能力。

    Jul, 2021

  • 基于依赖关系混合语言模型

    本研究介绍了基于依赖关系的混合语言模型，利用神经网络训练学习未来依赖令牌的概率分布，并将其与自注意力机制混合，从而提高了神经文本生成的效果。

    Mar, 2022

  • 语言建模的组合方法

    本文提出了一种新的语言模型，通过序列组合树来取代之前基于线性链的假设，消除了结构上的任何假设，利用对比熵作为评估度量标准对新模型进行评估，相较于以往基于递归神经网络的模型，在失真级别上获得了超过 100% 的改进。

    Apr, 2016

  • 树结构中的句子生成

    通过生成具有树遍历顺序的目标句子的新方法，本研究旨在提高现有系统的性能。此外，还引入了一个名为 SenTree 的模块来生成近似二叉树，并提出了一个基于该方法的联合训练框架，结合生成对抗网络的内在机制。

    Jun, 2024

  • 利用句法结构进行语言模型优化

    该论文介绍了一种语言模型，它利用句法结构从单词历史中提取有意义的信息，从而使得可以使用远距离依赖关系。该模型分配概率给每个单词序列 - 带头词注释的二元解析结构，并以左到右的方式运作，因此适用于自动语音识别。通过一系列实验来评估预测能力，该模型及其概率参数化对标准三元模型进行了改进。

    Nov, 1998

  • Transformer 语法：在规模上增强具有语法归纳偏见的转换语言模型

    Transformer Grammars 是一种新颖的语言模型，通过特殊的注意力掩码和确定性转换实现递归句法组合，提高了句子级别和句法敏感的语言建模性能，在长文本建模中，递归的句法组合对表示整个句子向量造成了瓶颈并影响了逼近度，表明一个独立于组合句法表示的不同类型的记忆机制在当前成功的模型中发挥了重要作用。

    Mar, 2022

  • 基于语法的神经网络文本到 SQL 生成

    本文提出了一种处理 neural text-to-SQL models 中编写语法的复杂性的技术，从而生成 schema-dependent grammar，对 ATIS 和 Spider 两个挑战性的 text-to-SQL 数据集进行分析，显示可以减少 14-18% 的相对误差。

    May, 2019