本文提出了一种名为 Focused Prefix Tuning (FPT) 的方法，用于在可控制的文本生成数据集中处理一些无关紧要的信号，以提高模型的性能，实验结果表明，在单属性控制任务中，FPT 可以比基线模型实现更好的控制精度和文本流畅性，在多属性控制任务中，FPT 可以在保持灵活性的同时，达到与现有技术相当的控制精度。

Jun, 2023

本文提出字首调整 (prefix-tuning)，来解决专用模型使用全量预训练语言模型的空间问题，自动学习小、定制化的向量。通过应用于自然语言生成和文本总结，仅使用 0.1% 的参数即能达到很好的性能。

Jan, 2021

我们提出了一种基于前缀调优的无监督文本风格转换方法，利用强大的预训练大型语言模型，构建不同类型的前缀来编码任务特定信息、目标风格和输入句子的内容信息，以实现在保留内容的同时改变输入句子的风格，采用递归的方式使用语言模型来提高模型性能，在著名数据集上的评估结果和深入理解所提出方法的消融研究分析及人工主观评估表明我们的方法优于现有技术基线。

Oct, 2023

引入一个名为 Gamma Sampling 的新方法，该方法无需任何的训练数据即可进行可控的语言生成，并在生成时间上保持快速性，实验证明，用于 GPT2 时，Gamma Sampling 在生成样本的多样性、属性相关性和总体质量方面优于代表性基线方法。

May, 2022

本研究聚焦于前缀调整 fine-tuning 技术，并提出了自适应前缀调整（APT）方法，结合门控机制实现对细粒度和粗粒度级别的前缀优化，实证实现了在 SuperGLUE 和 NER 数据集上的有效性和效率验证。

May, 2023

本文提出了一种前缀控制生成器 (Prefix-Controlled Generator) 的方法，应用于神经表格文本生成中的少样本学习问题，该方法使用预训练语言模型，并在输入处加入特定前缀以更好地适应表格结构，同时通过输入特定前缀控制生成的文本的内容和单词顺序，基于 Wikibio 数据集的人类、书籍和歌曲等不同领域的自动和人工评估结果均表明，该方法相对于基线方法取得了实质性的改进。

Aug, 2022

本文提出了基于前缀微调（prefix tuning）的方法，使用一组可训练的连续前缀提示和离散提示来辅助模型生成，显著提高了使用 GPT-2 生成的 CNN/Daily Mail 和 XSum 摘要的事实保留。此方法在知识增强的文档摘要中表现出了其有效性，并显示了在其他自然语言处理任务中的巨大潜力。

Jan, 2023

对于控制细粒度属性的文本生成研究，本文通过引入新的基准测试，系统调查了不同大型语言模型在生成个性化文本方面的性能，并从影响性能的因素中获得了一些见解。

Feb, 2024

本文提出了混合效应 (transformer) 模型，通过引入前缀 (prefixes)，逐级学习并建立结构化的变异因素的影响，以解决 GPT-3 等现代语言模型在面对稀疏、额外的上下文环境时性能下降的问题，实验表明本模型在领域适应性测试中表现良好。

May, 2022

为了简化知识导引对话系统的检索过程，本文提出了一种利用预训练语言模型中的固有知识编码的轻量级知识前缀注入方法，称为 Knowledgeable Prefix Tuning，并提出一种新颖的交互式重新参数化机制，使前缀完全与语言模型交互，并在实验中得到了成功的应用。

Jun, 2023