自回归大型语言模型中的提示

Nov, 2023

Prompting in Autoregressive Large Language Models

Prabin Bhandari

TL;DR自回归大语言模型已经改变了自然语言处理领域的格局。基于预训练和提示范式的方法已经取代了常规的预训练和微调方法用于许多下游自然语言处理任务。本文讨论了已经在自回归大语言模型上使用的各种提示技术，提供了一个基于这个分类体系的简明调研，并且确定了自回归大语言模型中提示领域的一些未解决问题，可作为未来研究的方向。

Abstract

autoregressive large language models have transformed the landscape of Natural Language Processing. Pre-train and prompt paradigm has replaced the conventional approach of pre-training and fine-tuning for many downstream NLP tasks. This shift has been possible largely due to LLMs and i

autoregressive large language models prompting techniques pre-training and prompt paradigm downstream nlp tasks open problems in prompting

发现论文，激发创造

大型语言模型的高效提示方法综述

在这篇论文中，我们对高效提示的各种方法进行了全面的概述，包括使用高效计算和高效设计进行提示的方法，重点关注未来的研究方向。

Apr, 2024

大型语言模型的自动提示选择

自动选择给定输入的最佳提示，克服手动设计有效提示的挑战，通过聚类训练数据、生成候选提示、生成输入 - 提示 - 输出数据集以训练评估器，并使用评估器在测试时选择最佳提示来实现兼顾通用性和特异性的方法。在零 - shot 问答数据集上显示出竞争性性能。

Apr, 2024

大规模语言模型代理的自动提示工程规划

在这篇论文中，我们提出了一种名为 RePrompt 的新方法，通过从与 LLM 代理的交互中获取的聊天记录，逐步优化 LLM 代理的提示，从而使 LLM 在特定领域中学会规划，我们在 PDDL 生成和旅行规划的实验中证明了我们的方法可以提高不同推理任务的性能。

Jun, 2024

AutoPrompt: 使用自动生成的提示从语言模型中引导知识

利用自动化方法生成的 AutoPrompt，我们展示了预训练语言模型在自然语言推理、情感分析和关系提取方面的潜在能力，以及自动生成的提示方法是现有探究方法的一个可行的无参数替代方法。

Oct, 2020

在教育和评估应用中探索提示式大型语言模型的能力

利用大语言模型在现代教育领域创新的机会，通过研究提问型大语言模型、语法错误解释和人力资源面试评估，揭示了大语言模型在改变教育实践中的潜力和限制。

May, 2024

对话模型的节约提示

研究了使用大型语言模型建立对话系统的不同方法，并分析了对话历史的表示方式，提出了一种更紧凑的提供对话历史信息的方法，从而有效减少模型 API 的成本。

May, 2023

重新思考 ChatGPT 的成功：基于自回归语言模型的提示促使下的可用性和认知行为

过去十年中，许多训练和部署大型语言模型（LLMs）的策略涌现出来。本文旨在强调利用自由形式的模态和口头自由形式的语境作为用户指导通道以进行下游部署的重要性。具体而言，我们分析了两种类型的 LLMs 的模态结构以及部署过程中的六个具体任务通道。从用户的角度出发，我们引入并应用了任务可定制性、透明度和复杂性的分析度量标准来衡量它们的可用性，突显了 AR-LLMs 的提示范例的优越性。此外，我们通过采用自由形式文本和口头语境来激发 LLMs 中的多样化认知行为，模仿了人类的这些行为的语言表达方式。然后，我们详细介绍了四种常见的认知行为，以强调 AR-LLMs 的提示如何成功地模仿使用这种自由形式的模态和通道的类似人类的行为。最后，通过认知行为的概念和原则，确定了改进 LLM 在自主代理和多代理系统中部署的潜力。

May, 2024

基于通信理论的大型语言模型的促进工程方法

大型语言模型的兴起改变了自然语言处理领域从单任务导向到全面的端到端多任务学习范式，其中基于大型语言模型的提示方法引起了广泛关注，尤其是由于提示工程的技术优势以及不同提示方法揭示的自然语言处理原理。本研究旨在通过建立通信理论框架来评述现有的提示工程方法，深入了解其中在四个典型任务中的发展趋势，并为未来的提示工程方法指明有前途的研究方向。

Oct, 2023

重新审视自动提示：我们真的做得更好了吗？

本文研究了自动提示技术在六个不同的下游任务和更广泛的 K-shot 学习场景中的应用。我们发现，自动提示并不总是优于简单的手动提示。我们的研究表明，在这一领域的研究中，除了 fine-tuning 之外还应该使用手动提示作为基线。

Apr, 2023

个性化文本生成的自动提示改写

通过自动修订提示符来进行个性化文本生成的研究。

Sep, 2023