Oct, 2022

FAST: 基于反馈感知自训练的文本生成控制性改进

PDF
TL;DR这篇论文针对控制文本生成算法中可能存在的潜在问题，利用因果推断技术发现了训练数据中的关联错误，提出通过倾向得分采样和反事实版本生成机制消除这些关联，实验结果表明该方法在生成性能和语言品质上都得到了显著提升。
controllable text generationcausal inferencecorrelation reductionlinguistic attributefeedback aware self-training
发现论文，激发创造
  • FreeCtrl: 使用前馈层构建控制中心进行无学习的可控文本生成

    提出了一个名为 FreeCtrl 的无需学习的方法，该方法通过动态调整选择的前馈神经网络向量的权重来控制大型语言模型的输出，实现对生成内容的属性关键词的输出概率的控制，从而解决了学习成本和模型性能之间的困境。

    Jun, 2024

  • 可控文本生成的因果透视

    本论文从因果的角度出发，提出了一种由结构性因果模型构建的可控文本生成框架，并将其应用于集中控制性文本生成领域的实践，实验表明该方法在控制准确性和减少偏差方面具有优势。

    Jan, 2022

  • 智能人工代理数据增强的可控文本生成

    通过文本生成技术，使用编码器 - 解码器生成模型来增加受训人工智能代理的训练数据，从而实现更快地开发新功能。该方法需要直接优化，适用于有限的数据，并明显优于以往的受控文本生成技术。此外，生成的数据用作外在意图分类任务的附加训练样本，增强了低资源情况下高达 5％绝对 f-score 性能的表现，证实了该方法的实用性。

    Oct, 2019

  • Facts2Story：通过关键事实控制文本生成

    该研究提出了一个基于自然语言的控制生成任务，可将一系列事实扩展为更长的叙述，并通过引入人类评估指标和大型训练数据集的方法评估了三种方法，证明了自回归的单向语言模型如 GPT2 的生成流畅度更好，但很难遵循所请求的事实，提出了一个基于计划和填空模型的解决方案（使用精细调整的 XLNet），其生成流畅度有竞争力，同时遵循所请求的内容。

    Dec, 2020

  • 使用扩散模型进行受控训练数据生成

    这项研究提出了一种利用反馈机制来控制文本到图像生成模型，以生成对监督学习特别有用的训练数据的方法，并且通过引入指导目标分布的反馈机制，演示了该方法在不同任务、数据集和架构上相对于开环方法的有效性。

    Mar, 2024

  • 面向开放域创造力和公平性的可控文本生成

    本文介绍了一些控制文本生成的方法以增强语言生成模型的创造力和公平性，包括层级生成和约束解码，并应用于故事、诗歌、比喻语言的创意生成，以及减少生成模型的社会偏见。

    Sep, 2022

  • 面向可控文本生成的有针对性前缀调整

    本文提出了一种名为 Focused Prefix Tuning (FPT) 的方法，用于在可控制的文本生成数据集中处理一些无关紧要的信号，以提高模型的性能，实验结果表明，在单属性控制任务中，FPT 可以比基线模型实现更好的控制精度和文本流畅性，在多属性控制任务中，FPT 可以在保持灵活性的同时，达到与现有技术相当的控制精度。

    Jun, 2023

  • 语言生成的高效无需训练控制

    引入一个名为 Gamma Sampling 的新方法，该方法无需任何的训练数据即可进行可控的语言生成，并在生成时间上保持快速性，实验证明，用于 GPT2 时，Gamma Sampling 在生成样本的多样性、属性相关性和总体质量方面优于代表性基线方法。

    May, 2022

  • 可控幻觉：从嘈杂数据学习如何生成忠实的输出

    本文介绍了在进行神经文本生成时，由于数据量不足，导致模型对于噪声的过度敏感，从而完成了对于 “幻觉” 生成文本的控制，通过该方法对 WikiBio 语料库进行测试，证明了其在人工和自动评估中的高效性。

    Oct, 2020

  • 指令调优时代的可控文本生成

    基于 Instruction-tuned 模型的可控文本生成，使用基于提示的方法超过了其他可控文本生成方法，在大多数数据集和任务上匹配人类表现，突出了对更多约束和具有挑战性的风格任务的研究的需求。

    May, 2024