ACLJul, 2023

PREADD：前缀自适应解码用于受控文本生成

PDF
TL;DR我们提出了一种灵活的控制文本生成的方法：前缀自适应解码（PREADD）。与现有方法使用辅助专家模型控制属性不同，PREADD 不需要外部模型，而是依靠线性组合从多个提示生成的输出标志 logit。具体而言，PREADD 将使用原始提示生成的输出标志与使用前缀预置提示生成的输出标志进行对比，从而对前缀所包含的任何属性进行正向和负向控制。我们在三个任务上评估了 PREADD—— 有害输出缓解、性别偏见减少和情感控制，并发现 PREADD 在每个任务的主要指标上相对增益达到 12% 或更多，不仅优于提示基准，而且优于辅助专家控制方法。
prefix-adaptive decodingcontrolled text generationpreaddtoxic output mitigationgender bias reduction
发现论文，激发创造
  • 具有对比前缀的可控自然语言生成

    提出了一种新颖的轻量级的 GPT2 生成框架，该框架利用一组小的属性特定向量，称为前缀，来控制自然语言生成，其中前缀使用多方面控制的监督方法和无监督方法进行训练，实验结果表明，我们的方法可以引导生成达到期望的特性，同时保持高水平的语言质量。

    Feb, 2022

  • 语言模型的可控解码

    我们提出了一种控制解码（CD）的创新离策略强化学习方法，以控制语言模型的自回归生成，以实现高回报结果。CD 通过一种用于奖励的值函数（我们称之为前缀评分器）解决了一个离策略强化学习问题，该前缀评分器在推断时间用于引导生成以实现更高的回报结果。我们的实证研究表明，在 Reddit 会话语料库上，CD 作为一种控制机制非常有效。我们还展示了 CD 的设计模块化性，使其能够有效解决一个无需额外复杂性的多目标强化学习问题。最后，我们展示了 CD 可以以一种创新的分块方式在推断时间应用，无需进行任何训练时间的更改，从根本上填补了流行的最优 $K$ 策略和标记级强化学习之间的差距。这使得 CD 成为一种有望实现语言模型的对齐的方法。

    Oct, 2023

  • PDD：基于提示和动态演示的少样本自然语言推断生成

    在少样本情况下，本文提出了一种带提示和动态演示的语言模型（LM-PDD）来解决自然语言推理生成任务问题，该方法在 SNLI 和 MNLI 数据集上比标准微调模型有着 8% 的平均绝对改进，并且在 13 种自然语言分类任务上表现良好，可以用于数据增强和可控文本生成。

    May, 2022

  • 一种插拔式控制文本生成方法

    通过向语料库单词的概率分布添加位移来控制语言生成，能保证给定的关键词出现，相比类似方法具有更高的效果。

    Sep, 2021

  • 利用即插即用控制器驱动

    提出了一种新颖的使用预训练语言模型进行灵活属性控制的文本生成方法，通过动态调整生成文本的分布，修改提示信息，限制语言模型的输出空间并影响所需属性，在 PLM 和 PPC 之间实现协作，通过 RLDAF 方法在推理过程中改进文本生成的顺畅性，实验证明该方法在多个评估指标下（包括文本流畅性和属性一致性）优于之前的方法。

    Feb, 2024

  • 奖励增强解码：高效受控文本生成的单向奖励模型

    使用奖励增强解码（RAD）的文本生成过程，通过小型单向奖励模型来鼓励语言模型生成具有特定属性的文本，通过实验证明 RAD 在生成非有毒和情绪受控文本方面表现最佳，并且在减少计算开销方面与最先进的方法相媲美。

    Oct, 2023

  • 基于 T5 编解码器软提示调整的受控文本生成并分析生成文本在 AI 中的效用

    本文提出了一种新的软性提示调整方法，通过在 T5 模型的编码器和解码器级别都使用软性提示实现控制性文章生成，并研究了一个附加的软提示与 T5 模型的解码器相关性表现。作者通过内在和外在评估，以及人工生成数据，发现这个模型在与仅在编码器级别使用单个软提示的 T5 模型相比，在产生更好的结果。并且使用这个人工生成的数据进行的情感分类器训练可以产生与使用真实标记的数据训练的分类器相当的分类结果，并且分类器的决策与输入文本内容具有可解释性。因此，此模型可以将生成的文本用于 AI 相关任务。

    Dec, 2022

  • 大型语言模型的细粒度排毒与实例级前缀

    使用细粒度去毒化的方法通过添加正向和多个负向前缀构造细粒度的次毒性向量，从而在提供原始提示时协同去毒，进而实现对毒性文本的控制生成。

    Feb, 2024

  • 硬件感知并行提示解码用于 LLM 推理的内存高效加速

    提出一种新颖的并行提示解码方法，仅需 $0.0002$% 的可训练参数，在 16 小时内可在单个 A100-40GB GPU 上进行高效训练，大大提高多令牌生成的接受率以及未来时间步骤的输出生成速度。

    May, 2024

  • 空气解码：编码时间可控文本生成的属性分布重建

    我们提出了一种名为 Air-Decoding 的新型轻量级解码框架，该框架通过重构属性分布来平衡属性单词和非属性单词之间的权重，从而生成更流畅的文本，有效避免了属性崩塌问题，实验结果表明我们的方法实现了最先进的控制性能。

    Oct, 2023