Nov, 2022

TEMPERA: 通过强化学习进行测试时间提示

PDF
TL;DR本研究提出一种新的 Test-time Prompt Editing 方法，可以更好地适应不同查询和提供每个查询的可解释提示，相较于 Prompt tuning、AutoPrompt 和 RLPrompt，该方法可以在情感分析、主题分类、自然语言推理和阅读理解等多个任务中实现显著的改进。
large language modelsprompt designzero-shot learningfew-shot learningtest-time prompt editing
发现论文，激发创造
  • TemPrompt: 基于 RAG 的众包系统中的多任务提示学习用于时间关系抽取

    基于预训练语言模型的多任务提示学习框架（TemPrompt）结合了提示调整和对比学习来解决事件的演变以及任务请求的问题，实验结果表明在标准和少样本情况下，TemPrompt 在多个指标下优于其他基准模型，并通过案例研究验证了在众包场景中的有效性。

    Jun, 2024

  • 通过强化学习学习生成对话生成的提示

    本文提出了将 prompting 和 reinforcement learning 相结合的方法以控制 chatbot 生成的内容，并通过 multi-task learning 提高该方法的泛化能力和适应性，实验证明所提出的方法可以成功控制多个 SOTA Dialogue Models。

    Jun, 2022

  • 视觉 - 语言模型中零 - shot 泛化的测试时提示调整

    本文提出一种叫做测试时提示调整 (TPT) 的方法，可在单个测试样本上实时学习适应性提示，优化提前提供的 CLIP 模型动态调整提示， 以最小化模型预测时的不确定度，提高 CLIP 模型的泛化能力。实验结果表明，TPT 方法在自然情况下的 zero-shot top-1 准确率比以往方法的提升 3.6％，并达到了使用额外培训数据的最新先进方法的性能水平。

    Sep, 2022

  • 文本到图像生成的提示优化

    该研究提出了一种文本生成图像的自适应提示适配框架，该框架使用预训练语言模型进行有监督的微调，再使用强化学习探索更好的提示，通过奖励函数鼓励策略生成更具美感的图像，实验结果表明，自适应提示适配方法优于手动人工优化提示工程，预训练检查点已经公开发布。

    Dec, 2022

  • 基于大型语言模型的交互式和可视化提示工程，用于即席任务适应

    本文介绍了一种使用神经语言模型的 zero-shot prompting 方法，在不需要监督训练的情况下解决 ad-hoc 语言任务。我们提出了 PromptIDE 工具，该工具可以帮助用户实验不同的提示词选择，以达到任务指标的优化和数据量的扩展。该工具已在多个现实世界的案例中得到了应用。

    Aug, 2022

  • PRewrite: 提示重写与强化学习

    我们在这篇论文中研究了自动化提示工程，提出了一种基于强化学习框架的自动工具 PRewrite，能够生成高效的新提示，优于以前提出的方法。

    Jan, 2024

  • 个性化文本生成的自动提示改写

    通过自动修订提示符来进行个性化文本生成的研究。

    Sep, 2023

  • TEMPO：面向时间序列预测的基于提示的生成预训练变换器

    TEMPO 是一个基于时间序列的新框架，通过利用时序任务的两个基本归纳偏好来有效学习时间序列表示，展现出超过 20% 至 60% 的改善性能，并在标准监督学习和之前未见数据集的情景中观察到。

    Oct, 2023

  • AdaPrompt：基于提示的自然语言处理自适应模型训练

    通过利用任务和提示的特征，AdaPrompt 使预训练语言模型不断预训练，提高了 NLP 方面几个基准测试中的表现，在零样本情况下相对误差降低了高达 26.35％。

    Feb, 2022

  • PACE：基于演员 - 评论家编辑技术改进大型语言模型的提示

    通过自动提示编辑技术（PACE），将大型语言模型（LLMs）自动优化为特定任务的更好提示，提高了中低质量的人工编写提示的性能，并具有与高质量提示相当的性能.

    Aug, 2023