KDDMar, 2021

逆向提示控制预训练语言模型的生成

PDF
TL;DR该研究提出了一种新颖的方法，逆提示（inverse prompting），通过使用生成文本对提示进行逆向预测，以增强提示和生成文本之间的相关性并提高可控性，实证研究表明该方法在生成文本的开放领域有着很好的表现，该研究提供的代码可供研究者使用。
pre-trained language modelstext generationinverse promptingbeam searchchinese language model
发现论文，激发创造
  • 个性化文本生成的自动提示改写

    通过自动修订提示符来进行个性化文本生成的研究。

    Sep, 2023

  • 利用自然语言提示进行机器翻译

    本文旨在探讨自然语言提示在控制机器翻译模型输出方面的应用，并证明其能够影响输出的正式程度和具体方言等属性。研究还表明，使用语言名称控制多语言翻译模型的输出语言能够使得未见过的语言对之间产生积极的迁移效果，从而能够利用英文名翻译成未经微调的语言。同时，研究了规模、预训练步数、微调语言数量和语言相似度等因素对该现象的影响。

    Feb, 2022

  • 插入并玩：一种控制文本生成的提示调整方法

    利用小型语言模型进行 Prompt 调整，使用提示嵌入对生成文本进行控制，验证其在情感分析、正式度和有害语言领域的有效性。

    Apr, 2024

  • 指令调优时代的可控文本生成

    基于 Instruction-tuned 模型的可控文本生成，使用基于提示的方法超过了其他可控文本生成方法，在大多数数据集和任务上匹配人类表现，突出了对更多约束和具有挑战性的风格任务的研究的需求。

    May, 2024

  • 通过提示实现可控的混合主动对话生成

    研究采用大型语言模型替代 fine-tuning 来实现可控制的混合对话，并在 PersuasionForGood 和 Emotional Support Conversations 两个任务中通过人类评估和自动度量标准显示了改进。

    May, 2023

  • 如何控制对话模型：提升对话质量的方法

    本文探讨了如何在对话模型中平衡训练文本的多样性和生成对话样式的限制，研究表明，通过将提示信息与查询进行绑定，可以实现更高质量的多样化回复。

    Sep, 2022

  • 文本到图像生成系统的提示日志分析

    最近，大型语言模型和生成式人工智能的出现，释放了文本转图像生成系统惊人的能力，以合理的方式将高质量的图像综合到给定的参考文本中。我们进行了第一次大规模的记录，这些记录由多个文本到图像生成系统收集。我们的研究发现表示用户输入的文本与生成模型的训练数据之间存在很大的差距，并建议我们如何提高这些系统的性能。

    Mar, 2023

  • 基于矢量量化提示学习的释义生成

    通过利用预训练模型和实例相关提示，本文提出生成多样且高质量的复述词句的方法，使用向量量化的提示来控制预训练模型的生成。实验表明此方法在三个基准数据集上取得了最新的最佳结果，包括 Quora、Wikianswers 和 MSCOCO。一旦被接受，我们将公开所有代码。

    Nov, 2023

  • PROPANE：逆问题中的即时设计

    本研究提出了一个自动化提示优化框架 PROPANE，旨在找到一个提示，能够在没有用户干预的情况下诱导出与给定示例语义相似的输出。进一步证明 PROPANE 可以用于改进现有提示，并发现在模型之间传输的语义混淆提示。

    Nov, 2023

  • 上下文调整：为自然语言生成学习上下文化提示语

    本文提出了一种新的连续提示方法，称为上下文调整，用于对预训练语言模型进行微调以进行自然语言生成，可以根据输入文本生成上下文化的提示，然后使用连续的反向提示来改进过程自然语言生成的过程。

    Jan, 2022