May, 2023

Deliberate then Generate: 文本生成的增强提示框架

PDF
TL;DR研究通过提出一种新的 “DTG” 提示框架来改善大型语言模型在自然语言生成任务中的表现，该提示框架在 20 多个数据集和 7 个文本生成任务中进行了广泛实验，表明 DTG 方法在多项文本生成任务中表现卓越，优于现有的提示方法，并提供了有关其机理的深入分析。
发现论文，激发创造
  • 文本生成的转移提示学习

    本文提出一种基于提示的文本生成方法（PTG），采用预训练语言模型，在面对数据匮乏的情况下通过学习一组源提示并将其转移为目标提示执行目标生成任务，设计了一个自适应注意机制以得出目标提示，实验结果表明 PTG 针对多个任务产生了有竞争力的结果，源提示已开放并可用于未来研究。

    May, 2022

  • 探索基于提示的少样本学习用于基于对话生成的实用对话系统

    本研究提出了一种基于提示的方法，通过连续或离散提示来区分不同构建的输入，例如基础来源和会话内容，证明提示的语言模型表现优于会话模型，并进一步分析影响提示效果的各种因素，为未来研究提供了有价值的发现和见解。

    Sep, 2021

  • SpeechGen：利用提示释放语音语言模型的生成力量

    本文介绍了一种名为 SpeechGen 的框架，使用 10M 个可训练参数，探索了提示调整方法来刺激语音语言模型进行各种生成任务，为更高效和有效地生成任务提供了前景。

    Jun, 2023

  • 神经数据转换为文本生成的创新

    本文调查了神经元数据到文本生成的方法、基准数据集和评估协议，突出了技术应用阶段及其在自然语言生成领域中的前景。

    Jul, 2022

  • 任务型对话系统中的上下文动态提示响应生成

    本文通过使用 context 动态提示的方法，改善了在多轮任务指向对话系统中的通用响应生成。在 MultiWOZ 2.2 数据集上验证后，相较于仅进行的前缀手段，综合值得分提高了 3 个绝对点，同时还将状态对话的提升幅度加大了 20 个绝对点。

    Jan, 2023

  • 个性化文本生成的自动提示改写

    通过自动修订提示符来进行个性化文本生成的研究。

    Sep, 2023

  • 长提示的自动工程化

    我们研究了自动的长提示工程算法，证明了贪婪算法和遗传算法在搜索效率方面的优越性，并引入了两种利用搜索历史增强搜索算法效果的新技术。我们的研究结果表明，该算法在 Big Bench Hard 的八个任务中实现了平均 9.2% 的准确度提升，突显了自动化提示设计对充分利用 LLMs 的能力的重要性。

    Nov, 2023

  • 更多询问，更深了解：基于大语言模型的增强学习问句在决策制定中的应用

    利用领导者 - 追随者双层框架，本文实现了一个完全集成的端到端框架，用于处理复杂的推理任务，并通过引入历史发现为生成合适的问题（提示）提供指导，进而指导行动学习。

    Oct, 2023

  • Prompt2Model: 从自然语言指令生成可部署的模型

    通过 Prompt2Model 方法，可以使用少量的提示，训练出性能优异、体积小 700 倍的特定目的模型，用于自然语言处理任务。

    Aug, 2023

  • 通过定向促发指导大型语言模型

    通过引入 “方向刺激提示” 框架，使用可调的语言模型（LM）为黑盒冷冻的大语言模型（LLM）在下游任务中提供指导，以重点提示 / 示范以及方向性刺激等手段协助 LLM 完成任务，通过验证取得了鼓舞人心的提升。

    Feb, 2023