ACLJul, 2023

属性控制的对话提示

PDF
TL;DR该论文介绍了一种新颖的基于实例控制代码的提示调整算法来探索其对于对话生成的影响，该算法不同于传统的离散提示和连续提示，可以适应输入变化较大的任务，如开放领域对话生成，并在经典数据集上实验证明其比提示基线更好，而参数却只需用到总计量的 5-6%。
prompt-tuningpretrained language modelsinstance-specific prompt-tuningdialogue generationopen-domain dialogue datasets
发现论文，激发创造
  • 插入并玩：一种控制文本生成的提示调整方法

    利用小型语言模型进行 Prompt 调整，使用提示嵌入对生成文本进行控制，验证其在情感分析、正式度和有害语言领域的有效性。

    Apr, 2024

  • 通过提示实现可控的混合主动对话生成

    研究采用大型语言模型替代 fine-tuning 来实现可控制的混合对话，并在 PersuasionForGood 和 Emotional Support Conversations 两个任务中通过人类评估和自动度量标准显示了改进。

    May, 2023

  • 如何控制对话模型：提升对话质量的方法

    本文探讨了如何在对话模型中平衡训练文本的多样性和生成对话样式的限制，研究表明，通过将提示信息与查询进行绑定，可以实现更高质量的多样化回复。

    Sep, 2022

  • 使用 Prompt-Tuning 构建个性化对话系统

    本研究通过使用 persona 来建立具有一致性反应的对话系统，提出了一种基于预训练的大型语言模型的 prompt 调节方法，在英语和日语方面的自动和手动评估结果表明，这种方法可以建立具有更自然和个性化反应的对话系统，而且计算资源较少。

    Jun, 2022

  • 动态提示：一种用于提示调整的统一框架

    本文提出了一种动态提示策略 (DP) 来优化 LMs 的 prompt tuning，通过任务优化、位置、长度和提示表示的动态优化，实验证明 DP 能提高分类准确度，并证明其在全数据、少样本和多任务情况下都是有用的。

    Mar, 2023

  • 任务型对话系统中的上下文动态提示响应生成

    本文通过使用 context 动态提示的方法，改善了在多轮任务指向对话系统中的通用响应生成。在 MultiWOZ 2.2 数据集上验证后，相较于仅进行的前缀手段，综合值得分提高了 3 个绝对点，同时还将状态对话的提升幅度加大了 20 个绝对点。

    Jan, 2023

  • 上下文调整：为自然语言生成学习上下文化提示语

    本文提出了一种新的连续提示方法，称为上下文调整，用于对预训练语言模型进行微调以进行自然语言生成，可以根据输入文本生成上下文化的提示，然后使用连续的反向提示来改进过程自然语言生成的过程。

    Jan, 2022

  • 基于提示调整的语音分类任务 SpeechPrompt v2

    本文提出了 “SpeechPrompt V2” 语音分类的编程框架，该框架在统一的下游任务生成和多个语言的情境下具有高效性并取得了优秀的性能。

    Mar, 2023

  • 参数高效的 Prompt 调整使得神经文本检索器具有广义性和校准性

    本文介绍了一种基于 Prompt tuning 的神经文本检索方法，通过更新其中 0.1% 的参数，能够显著提高检索模型的泛化性能，在额外引入一份包括 87 个主题的来自学术领域的数据集的情况下，证明了这种检索方法的横向主题泛化性强于传统方法。

    Jul, 2022

  • IDPG：一种实例相关的提示生成方法

    本文提出了一种新的 NLP 迁移学习范式，称为 Prompt Tuning，该范式在模型训练阶段为每个输入实例添加任务特定的提示，并使用 Instance-Dependent Prompt Generation (IDPG) 生成每个输入实例的提示，在 10 个自然语言理解任务中得到了较好的性能。

    Apr, 2022