大型语言模型的提示速写

Nov, 2023

Prompt Sketching for Large Language Models

Luca Beurer-Kellner, Mark Niklas Müller, Marc Fischer, Martin Vechev

TL;DR在这项工作中，我们通过提出提示素描的新提示范式来解决使用序列查询大型语言模型 (LLMs) 的许多最近提示策略中存在的问题，该模型不仅通过完成提示来回答，而是通过在模板中预测多个变量的值来回答，从而使用户在生成过程中具有更多的控制，同时优化推理中整体模板的可能性。

Abstract

Many recent prompting strategies for large language models (LLMs) query the model multiple times sequentially -- first to produce intermediate results and then the final answer. However, using these methods, both decoder and model are unaware of potential follow-up prompts, leading to

large language models prompt sketching decoding procedure template autoregressive models

发现论文，激发创造

自回归大型语言模型中的提示

自回归大语言模型已经改变了自然语言处理领域的格局。基于预训练和提示范式的方法已经取代了常规的预训练和微调方法用于许多下游自然语言处理任务。本文讨论了已经在自回归大语言模型上使用的各种提示技术，提供了一个基于这个分类体系的简明调研，并且确定了自回归大语言模型中提示领域的一些未解决问题，可作为未来研究的方向。

Nov, 2023

草图然后生成：通过以语言为导向的代码草图，提供增量用户反馈和引导 LLM 代码生成

使用语言导向的代码草稿提供即时且逐步的反馈，从而提高人工与大型语言模型之间的交互效果。该方法通过利用提示中固有的语言结构和经典的自然语言处理技术，将提示转化为代码草稿，并作为中间占位符，预览预期的代码结构，引导大型语言模型生成期望的代码。

May, 2024

大型语言模型的高效提示方法综述

在这篇论文中，我们对高效提示的各种方法进行了全面的概述，包括使用高效计算和高效设计进行提示的方法，重点关注未来的研究方向。

Apr, 2024

AutoPrompt: 使用自动生成的提示从语言模型中引导知识

利用自动化方法生成的 AutoPrompt，我们展示了预训练语言模型在自然语言推理、情感分析和关系提取方面的潜在能力，以及自动生成的提示方法是现有探究方法的一个可行的无参数替代方法。

Oct, 2020

大型语言模型的自动提示选择

自动选择给定输入的最佳提示，克服手动设计有效提示的挑战，通过聚类训练数据、生成候选提示、生成输入 - 提示 - 输出数据集以训练评估器，并使用评估器在测试时选择最佳提示来实现兼顾通用性和特异性的方法。在零 - shot 问答数据集上显示出竞争性性能。

Apr, 2024

大规模语言模型代理的自动提示工程规划

在这篇论文中，我们提出了一种名为 RePrompt 的新方法，通过从与 LLM 代理的交互中获取的聊天记录，逐步优化 LLM 代理的提示，从而使 LLM 在特定领域中学会规划，我们在 PDDL 生成和旅行规划的实验中证明了我们的方法可以提高不同推理任务的性能。

Jun, 2024

重新审视自动提示：我们真的做得更好了吗？

本文研究了自动提示技术在六个不同的下游任务和更广泛的 K-shot 学习场景中的应用。我们发现，自动提示并不总是优于简单的手动提示。我们的研究表明，在这一领域的研究中，除了 fine-tuning 之外还应该使用手动提示作为基线。

Apr, 2023

激发即编程：大型语言模型的查询语言

本文提出了一种 Language Model Programming（LMP）的全新方法，以将纯文本提示扩展为文本提示和脚本的直观组合，并允许指定约束条件，从而实现对下游任务的易于适应性。通过实现 LMQL（Language Model Query Language）来实现 LMP 的支持，并证明了其在保持或提高下游任务准确性的前提下，大大减少了计算的成本。

Dec, 2022

个性化文本生成的自动提示改写

通过自动修订提示符来进行个性化文本生成的研究。

Sep, 2023

AutoHint: 自动提示生成的提示优化

本文提出了一种用于自动化生成和优化大型语言模型中提示的新框架 AutoHint，该框架利用了输入 - 输出演示派生的丰富指示来优化原始提示。通过将当前 LMM 的丰富指示嵌入 LLM 训练中，该方法可以大大提高多个任务的准确性。

Jul, 2023