AGI 系统的元提示

Nov, 2023

Meta Prompting for AGI Systems

Yifan Zhang

TL;DR该论文深入探讨了 “元提示” 这一新颖技术，革新了大型语言模型、多模态基础模型和人工智能系统在问题解决和数据解释方面的方法。该技术根植于类型理论和范畴论，并注重信息的结构和语法，提供了一种超越传统以内容为重点的方法的独特框架。我们详细阐述了 “元提示” 的形式定义，并通过与 “少样本提示” 的对比突出了其在不同人工智能应用中的适用性和优越性。关键的探索是将 “元提示” 扩展到复杂推理领域。在这里，我们展示了这一技术如何将复杂问题巧妙地分解为可管理的子问题，从而实现了解决问题的逐步详细方法。这种方法在令牌效率和问题解决情景中提供了公平的比较，与少样例方法相比表现出特殊的优势。此外，该论文通过将 “元提示” 推广到多模态基础模型设置中开创了新的领域。这一扩展解决了在 “元提示” 的结构框架中整合各种数据类型，如图像、音频和视频的挑战和潜力，突显了处理复杂多方面数据的广阔潜能（代码可在此 URL 获取）。

Abstract

This paper presents an in-depth exploration of meta prompting, a novel technique that revolutionizes the way large language models (LLMs), multi-modal foundation models, and →

meta prompting large language models ai systems complex reasoning multi-modal foundation models

发现论文，激发创造

关于元提示

使用类别论的理论框架来描述和推广统计模型中的元提示方法，研究发现元提示方法在创意和构思领域的应用比基本提示方法更有效。

Dec, 2023

MetaPrompting：学习生成更好提示信息

本文提出了一种称为 MetaPrompting 的通用软提示方法，它采用了公认的模型无关元学习算法来自动找到更好的提示初始化，有助于快速适应新的提示任务，并在四个不同的数据集上取得了显著的改进（1-shot 模式下精度提高了超过 6 个百分点），达到了新的最佳性能水平。

Sep, 2022

元提示：用任务无关的支架增强语言模型

通过引入元提示技术，将单个语言模型转变为多面手指挥者，通过高级指示将复杂任务分解为可管理的子任务，从而提高语言模型的综合性能。元提示方法的任务无关性大大简化了用户交互，而与 Python 解释器等外部工具的无缝集成扩展了其适用性和实用性。在 GPT-4 上进行的实验表明，相比传统的支架方法，使用元提示技术在所有任务上平均效果提高了 17.1%，动态支架方法提高了 17.3%，多身份支架方法提高了 15.2%。

Jan, 2024

提示报告：提示技巧的系统调查

通过建立提示的结构化理解，本文通过整理提示技术的分类法和分析其使用，提供了 33 个词汇术语、58 种文本提示技术以及 40 种其他模态的技术，还对自然语言前缀提示的整个文献进行了元分析。

Jun, 2024

大型语言模型的提示式编程：超越少样本范式

使用 GPT-3 模型分析得出少量样例引导更接近于已学习的任务，本文探讨使用自然语言编程来优化引导，提出元引导概念后能够生成更多的任务自然语言引导，展望这些方法如何应用于实践应用。

Feb, 2021

元认知提示提高大型语言模型的理解能力

通过使用元认知提示，通过系统性的结构化、自我意识评估，结合大量内在的知识和新的认识，可以提高大型语言模型的理解能力。实验结果表明，元认知提示始终优于现有的提示方法，并通过提高 GPT-4 的性能水平，增强了 GPT-4 在各种自然语言理解任务中的表现。

Aug, 2023

提示工程师的提示工程

通过构建元提示（meta-prompt）从而更有效地引导大型语言模型（LLMs）进行自动提示工程，进而优化其性能。

Nov, 2023

一体化：用于图神经网络的多任务提示

本文引入了提示方法来弥补预训练模型与各种图形任务之间的差距，并提出了一种新的用于图形模型的多任务提示方法。经过实验，结果表明我们的方法优越性。

Jul, 2023

大型语言模型的元推理

Meta-Reasoning Prompting（MRP）是一种受人类元推理启发的用于大型语言模型（LLMs）的新型高效系统提示方法，通过动态选择和应用不同的推理方法来优化性能和计算效率，实现了在不同任务中达到或接近最先进性能的结果。

Jun, 2024

图灵提示学习：综述与扩展

人工智能总体智能（AGI）已经在许多领域取得了革命性的成就，然而其与图数据的整合，在我们相互连接的世界中仍然尚未充分开发。本文对图智能的新兴领域进行了开创性的调查，探讨了利用图数据进行 AGI 应用的关键挑战和机遇。尽管在自然语言处理和计算机视觉领域已经取得了实质性的进展，但在图数据方面的应用还未得到充分开发。本调查对当前 AGI 处理图数据的现状进行了批判性评估，突出了在图领域中特定于跨模态、跨领域和跨任务应用的不同挑战。我们的工作首次提出了一个统一的框架，用于理解图提示学习，并明确了图领域中的提示标记、标记结构和插入模式。我们深入探讨了图提示的内在特性，探讨了其灵活性、表达能力和与现有图模型的相互作用。我们系统地对该领域的 100 多项工作进行分类，将它们与节点级、边级和图级目标的预训练任务相对应。此外，我们还提供了一个名为 ProG 的 Python 库和一个配套的网站，以支持和推动图提示的研究。本调查总结了当前挑战和未来方向的讨论，为 AGI 中的图提示研究提供了路线图。通过这个全面的分析，我们的目标是激发对 AGI 在图数据中进一步探索和实际应用的兴趣，凸显其重塑 AGI 领域及其他领域的潜力。ProG 库和网站可以通过相应的 URL 进行访问。

Nov, 2023