Oct, 2022

基于 PCFG 的自然语言接口改进受控文本生成的泛化性能

PDF
TL;DR本论文提出了一种将控制属性嵌入自然语言命令中的基于 PCFG 的生成命令方法，并提出了将命令作为输入的 CTG 模型变体，在实验中发现，这种方法不仅可以有效处理未见过的命令，而且可以有效泛化到未见过的属性及其组合，并通过简单条件生成方法强化了该方法，形成了一个强有力的基线模型。
controlled text generationnatural language interfacepcfggeneralization abilitiesconditional generation approach
发现论文，激发创造
  • 带自然语言指令的可控文本生成

    本文介绍了一种控制生成文本的框架 InstructCTG，通过自然语言描述和约束条件的演示，将各种内在约束条件融入预训练语言模型中，以达到对生成文本的控制和优化。

    Apr, 2023

  • 基于 Transformer 预训练语言模型的可控文本生成综述

    本文系统评述了基于预训练语言模型的可控文本生成技术的主要任务、方法和评价方法，并讨论了当前领域面临的挑战和未来研究方向。

    Jan, 2022

  • 控制、生成、增强：面向多属性文本生成的可扩展框架

    引入了 CGA，一种有条件的 VAE 架构，可用于控制、生成和增强文本，通过对抗学习与上下文感知损失和循环词随机删减程序相结合，能够控制多种语义和句法属性生成自然的英文句子。通过自动和人工评估，证明所生成句子的高质量、多样性和属性控制，用于数据增强的下游 NLP 任务中，相比于强基线和同等数量的真实数据，使用 CGA 模型生成的句子有显著提高，分类性能也有所提升。

    Apr, 2020

  • 语言学习项目的受控语言生成

    本研究旨在使用自然语言生成技术快速生成英语语言学习应用的内容，并控制生成的结果以满足相关要求。根据语言学习水平及语法结构等因素，我们尝试使用预训练深度模型进行控制，评价结果表明，我们可以控制实现多样化、定制化内容的同时，实现较高的语法质量。

    Nov, 2022

  • 大型语言模型的动态属性图控制文本生成

    控制性文本生成旨在生成具有特定期望属性的文本。本研究中，我们介绍了一种用于大型语言模型的可插拔的控制性文本生成框架（DATG），名为动态属性图控制性文本生成。该框架利用属性评分器评估语言模型生成的句子的属性，并构建动态属性图。DATG 通过调节关键属性词和关键反属性词的出现频率，在不损害模型原始能力的情况下实现了有效的属性控制。我们在两个任务的四个数据集上进行实验：毒性缓解和情感转换，并使用五种语言模型作为基础模型。我们的发现突出了控制精度的显著提高，在四个数据集中最优任务上改进了 19.29％。此外，我们观察到困惑度显著减少，文本流畅性得到显著改善。

    Feb, 2024

  • 控制生成文本的发展

    本文旨在通过学习简化的语义分离潜在表示来生成和控制自然语言句子，同时通过变分自编码器和全局属性判别器的组合来建立新的神经生成模型。该模型具有可解释性和高效性，可以生成符合要求的具有各种属性的句子。量化评估验证了该模型的生成准确性。

    Mar, 2017

  • 面向开放域创造力和公平性的可控文本生成

    本文介绍了一些控制文本生成的方法以增强语言生成模型的创造力和公平性，包括层级生成和约束解码，并应用于故事、诗歌、比喻语言的创意生成，以及减少生成模型的社会偏见。

    Sep, 2022

  • 利用即插即用控制器驱动

    提出了一种新颖的使用预训练语言模型进行灵活属性控制的文本生成方法，通过动态调整生成文本的分布，修改提示信息，限制语言模型的输出空间并影响所需属性，在 PLM 和 PPC 之间实现协作，通过 RLDAF 方法在推理过程中改进文本生成的顺畅性，实验证明该方法在多个评估指标下（包括文本流畅性和属性一致性）优于之前的方法。

    Feb, 2024

  • 个性化文本生成与细粒度语言控制

    对于控制细粒度属性的文本生成研究，本文通过引入新的基准测试，系统调查了不同大型语言模型在生成个性化文本方面的性能，并从影响性能的因素中获得了一些见解。

    Feb, 2024

  • Tailor: 一种基于提示的属性控制文本生成方法

    Tailor 模型通过预训练连续向量来指导固定的 PLM 切换到特定的属性，同时提供多属性提示掩码和重新索引 ID 序列，以支持单属性提示的组合并实现文本的多属性生成，这在 11 个属性特定的生成任务上表现出很强的性能。

    Apr, 2022