May, 2022

使用神经分解 Oracle 实现可控文本生成

PDF
TL;DR本研究提出基于 NeurAlly-Decomposed Oracle (NADO) 的通用高效生成模型控制框架，其中 NADO 将控制模型分解为词级指导以引导底层模型在文本生成过程中生成符合预期的结果，通过实验证明，本框架在维护高生成质量的同时能高效地指导模型生成出符合特定条件要求的结果。
neurally-decomposed oracleauto-regressive generation modelscontrollable generationtheoretical analysisposterior regularization
发现论文，激发创造
  • 面向开放域创造力和公平性的可控文本生成

    本文介绍了一些控制文本生成的方法以增强语言生成模型的创造力和公平性，包括层级生成和约束解码，并应用于故事、诗歌、比喻语言的创意生成，以及减少生成模型的社会偏见。

    Sep, 2022

  • 控制生成文本的发展

    本文旨在通过学习简化的语义分离潜在表示来生成和控制自然语言句子，同时通过变分自编码器和全局属性判别器的组合来建立新的神经生成模型。该模型具有可解释性和高效性，可以生成符合要求的具有各种属性的句子。量化评估验证了该模型的生成准确性。

    Mar, 2017

  • 带语言约束的可控文本生成

    本篇论文提出了使用自然语言指定限制条件的语言模型的文本生成任务，并创建了挑战性的基准 Cognac。我们提出了一种名为 CognacGen 的方法，旨在利用语言模型的内部知识来引导生成，它可以成功地推广到未看到的指令，并在生成符合限制的文本方面优于竞争基线。

    Dec, 2022

  • 无监督可控文本形式化

    本文提出了一种新颖的可控自然语言转换框架，通过深度神经编码 - 解码器和辅助模块的加强以及基于自然语言处理工具的评分器来实现无监督训练，将其应用于正式化文本的任务中，实验表明该模型在转换文本并引入适当的正式设定方面表现良好，代码和数据集已供学术使用。

    Sep, 2018

  • 可控的自回归语言生成

    本文提出了一种名为 GeLaTo 的方法，使用可解释的概率模型来强制进行文本生成中的词汇约束，通过使用精简的隐性马尔可夫模型控制 Generative Pre-trained Transformer 2（GPT2）的自回归生成，GeLaTo 在 constrained text generation 的 CommonGen 测试效果上大幅度击败了强大的基准模型，并为控制大型语言模型开辟了新的思路，并推动可解释的概率模型的发展。

    Apr, 2023

  • BOOST：利用黑盒控制提升 LM 生成中的常识

    我们提出了一种计算高效的框架，通过引导一个固定的预训练语言模型向更具常识的生成方式迈进，以产生一个合理的输出，该输出以一系列概念有意义的方式融合。测试结果表明，我们的方法在两个有限概念生成句子的基准上始终能够产生最具常识性的输出。

    Oct, 2023

  • 智能人工代理数据增强的可控文本生成

    通过文本生成技术，使用编码器 - 解码器生成模型来增加受训人工智能代理的训练数据，从而实现更快地开发新功能。该方法需要直接优化，适用于有限的数据，并明显优于以往的受控文本生成技术。此外，生成的数据用作外在意图分类任务的附加训练样本，增强了低资源情况下高达 5％绝对 f-score 性能的表现，证实了该方法的实用性。

    Oct, 2019

  • 基于令牌级反馈的强化学习可控文本生成

    提出了一种名为 TOLE 的新颖强化学习算法，用于控制大型语言模型的生成，并在单属性和多属性控制任务上取得了优异的性能。

    Mar, 2024

  • 带多限制条件的文本生成连续优化控制

    提出了一种名为 MuCoCO 的算法，通过将编码过程转化为优化问题，并通过拉格朗日乘数法和梯度下降技术生成期望的文本，从而实现对预训练模型生成文本属性的控制。在可控机器翻译和风格转移方面的实验表明，该方法显著优于基准模型。

    Aug, 2021

  • 一种插拔式控制文本生成方法

    通过向语料库单词的概率分布添加位移来控制语言生成，能保证给定的关键词出现，相比类似方法具有更高的效果。

    Sep, 2021