May, 2022

基于梯度的语言模型约束采样

PDF
TL;DR该论文探讨了从预先训练的语言模型中受约束地生成文本的问题，并介绍了一种名为 MuCoLa 的采样过程，通过组合语言模型的对数可能性与任意（可微分）约束，以及使用 Langevin Dynamics 定义的马尔科夫链来生成文本。结果显示，MuCoLa 在避免有害信息、情感控制和关键词引导生成等任务中都获得了显著的性能提升。
pretrained language modelsconstrained samplingmucolalangevin dynamicstext generation
发现论文，激发创造
  • 带多限制条件的文本生成连续优化控制

    提出了一种名为 MuCoCO 的算法，通过将编码过程转化为优化问题，并通过拉格朗日乘数法和梯度下降技术生成期望的文本，从而实现对预训练模型生成文本属性的控制。在可控机器翻译和风格转移方面的实验表明，该方法显著优于基准模型。

    Aug, 2021

  • 带语言约束的可控文本生成

    本篇论文提出了使用自然语言指定限制条件的语言模型的文本生成任务，并创建了挑战性的基准 Cognac。我们提出了一种名为 CognacGen 的方法，旨在利用语言模型的内部知识来引导生成，它可以成功地推广到未看到的指令，并在生成符合限制的文本方面优于竞争基线。

    Dec, 2022

  • 基于梯度的基于马尔科夫链蒙特卡罗的文本生成原则

    通过改进基于梯度的采样算法，实现对目标基于能量的文本分布的正确采样，以生成流畅的文本并更好地满足控制目标。

    Dec, 2023

  • 可控的自回归语言生成

    本文提出了一种名为 GeLaTo 的方法，使用可解释的概率模型来强制进行文本生成中的词汇约束，通过使用精简的隐性马尔可夫模型控制 Generative Pre-trained Transformer 2（GPT2）的自回归生成，GeLaTo 在 constrained text generation 的 CommonGen 测试效果上大幅度击败了强大的基准模型，并为控制大型语言模型开辟了新的思路，并推动可解释的概率模型的发展。

    Apr, 2023

  • 基于鉴别器引导的 MCTS 解码的受限文本生成

    本文通过指导树遍历过程中使用鉴别器推导所需的限制条件，探讨了如何在解码过程中进一步控制基于 Transformers 的大型语言模型（LM）生成的长文本，从而避免对 LM 进行微调。此方法相对于微调又更易于并且训练代价更小，同时允许更细致、更动态地应用限制条件。在评估了多种搜索和重新排序方案后，表明基于鉴别器引导的 Monte Carlo Tree Search 解码方法可以在两种限制条件和语言（法语和英语）中以最先进的效果，得到多样性鼓励下基于重新排序的其他解码方法相当好的效果。

    Sep, 2021

  • ColdGANs: 使用谨慎的采样策略驯服语言 GANs

    本文提出一种名为 ColdGANs 的综合探索策略的 GAN 框架，用于解决基于 Maximum Likelihood Estimation 培训的文本生成算法的局限性，并展示了 ColdGANs 相比于其他 RL 算法以及 MLE 在三个文本生成任务中的效果更好。

    Jun, 2020

  • COLD 解码：基于能量约束的 Langevin 动态文本生成

    本文提出了一种基于能量约束解码的生成文本的方法，该方法可直接应用于现有语言模型，通过梯度反向传播进行不同 iable 推理，具有较高的实用性和灵活性。实验证明该方法在多种文本生成任务中均具有较高的自动化和人类的评价表现。

    Feb, 2022

  • 混合搭配：能量语言模型控制的无需学习文本生成

    本文提出了一种名为 Mix and Match LM 的生成模型框架，该框架使用全局评分的方式结合预训练模型来实现生成文本的可控性，同时采用 Metropolis-Hastings 采样算法进行采样，取得了在多项测试领域中优于其他最新方法的表现。

    Mar, 2022

  • 一种用于可控能量驱动文本生成的区块 Metropolis-Hastings 采样器

    能量基语言建模与 Metropolis-Hastings 抽样器相结合可实现更高效和准确的文本生成，通过迭代提示大型语言模型，允许在每个步骤中对整个序列进行重写，从而确定生成长度和提高下游性能。

    Dec, 2023

  • NLP 抽样：将 MCMC 与 NLP 方法相结合用于多样化约束抽样

    困难约束下生成多样样本是许多领域中的核心挑战，本研究旨在提供一个综合视图和框架，以结合 MCMC、约束优化以及机器人领域的方法，并通过实证评估来了解它们的优势。我们提出了 NLP 抽样作为一个通用问题形式，提出了一族基于重启的两阶段方法作为一个整合各个领域方法的框架，并在分析和机器人操纵规划问题上对其进行评估。此外，我们提供了几个概念性讨论，比如拉格朗日参数的作用、全局抽样的概念，以及扩散 NLP 和相应的基于模型的去噪采样器的思想。

    Jul, 2024