本文探讨了使用渐进式的梯度下降机制为先前的预训练语言模型 Fine-Tuning 提供含监听词库的句子造句模式，以从中提取模型对于文本特征的认知，并使用软词向量进行任务综合，将此方式与传统的任务方法进行对比，显示其在任务中的巨大性能提升，而随机初始化甚至可以代替详细的初始化方式，因此这种知识的提取可以廉价地实现。

Apr, 2021

使用类别论的理论框架来描述和推广统计模型中的元提示方法，研究发现元提示方法在创意和构思领域的应用比基本提示方法更有效。

Dec, 2023

本文提出了 MetaPT，一种基于元学习的预训练方法来对话题进行自适应，并在 7 个下游任务中展示了比现有方法更好的性能和稳定性。

May, 2022

该论文深入探讨了 “元提示” 这一新颖技术，革新了大型语言模型、多模态基础模型和人工智能系统在问题解决和数据解释方面的方法。该技术根植于类型理论和范畴论，并注重信息的结构和语法，提供了一种超越传统以内容为重点的方法的独特框架。我们详细阐述了 “元提示” 的形式定义，并通过与 “少样本提示” 的对比突出了其在不同人工智能应用中的适用性和优越性。关键的探索是将 “元提示” 扩展到复杂推理领域。在这里，我们展示了这一技术如何将复杂问题巧妙地分解为可管理的子问题，从而实现了解决问题的逐步详细方法。这种方法在令牌效率和问题解决情景中提供了公平的比较，与少样例方法相比表现出特殊的优势。此外，该论文通过将 “元提示” 推广到多模态基础模型设置中开创了新的领域。这一扩展解决了在 “元提示” 的结构框架中整合各种数据类型，如图像、音频和视频的挑战和潜力，突显了处理复杂多方面数据的广阔潜能（代码可在此 URL 获取）。

Nov, 2023

自从大规模语言模型出现以来，启发式学习已成为优化和定制这些模型的流行方法之一。本文介绍了元启发式方法作为一种潜在的提示学习方法，并测试了六种典型方法的有效性，展示了它们在黑盒提示学习和经过论证的提示调优中的功效，并表明这些方法可以用于发现以前未知的更容易理解的提示，从而开辟了提示优化的众多可能性。

Nov, 2023

使用 GPT-3 模型分析得出少量样例引导更接近于已学习的任务，本文探讨使用自然语言编程来优化引导，提出元引导概念后能够生成更多的任务自然语言引导，展望这些方法如何应用于实践应用。

Feb, 2021

该研究论文调查和组织了一种新兴的自然语言处理范式，这种范式被称为 “基于提示的学习”，并在其中介绍了其基础知识和数学符号，以及其在预训练模型、提示和调整策略等方面的相关研究成果，该框架通过使用模板将输入 x 修改为具有一些未填充信息的文本字符串提示 x'，并将语言模型用于填充未填充信息以获得最终字符串 x，从而实现零样本学习和少样本学习。

Jul, 2021

通过引入元提示技术，将单个语言模型转变为多面手指挥者，通过高级指示将复杂任务分解为可管理的子任务，从而提高语言模型的综合性能。元提示方法的任务无关性大大简化了用户交互，而与 Python 解释器等外部工具的无缝集成扩展了其适用性和实用性。在 GPT-4 上进行的实验表明，相比传统的支架方法，使用元提示技术在所有任务上平均效果提高了 17.1%，动态支架方法提高了 17.3%，多身份支架方法提高了 15.2%。

Jan, 2024

在这篇论文中，我们对高效提示的各种方法进行了全面的概述，包括使用高效计算和高效设计进行提示的方法，重点关注未来的研究方向。

Apr, 2024

利用自动化方法生成的 AutoPrompt，我们展示了预训练语言模型在自然语言推理、情感分析和关系提取方面的潜在能力，以及自动生成的提示方法是现有探究方法的一个可行的无参数替代方法。

Oct, 2020