UPAR：提升大型语言模型能力的康德启发式提示框架

Sep, 2023

UPAR：提升大型语言模型能力的康德启发式提示框架

UPAR: A Kantian-Inspired Prompting Framework for Enhancing Large Language Model Capabilities

Hejia Geng, Boxun Xu, Peng Li

TL;DR借鉴康德的先验哲学，我们提出了 UPAR 提示框架，通过四个阶段（理解、计划、执行、反思）模拟人类认知结构，在提取结构化信息、先前规划解决方案、按计划执行和自我反思方面，显著增强了 LLM 推理的可解释性和准确性。此外，我们的工作为现有提示技术建立了认识论基础，为这些方法的系统整合提供可能。在 GSM8K 的具有挑战性的子集中，与 COT 基线的 22.92% 相比，我们的方法使准确率提升至 58.33%；在因果判断任务中，准确率从 67.91% 提高到 75.40%。

Abstract

large language models (LLMs) have demonstrated impressive inferential capabilities, with numerous research endeavors devoted to enhancing this capacity through prompting. Despite these efforts, a unified epistemological foundation is still conspicuously absent. Drawing inspiration from

large language models upar prompting framework inferential capabilities epistemological foundation explanation and accuracy

发现论文，激发创造

元认知提示提高大型语言模型的理解能力

通过使用元认知提示，通过系统性的结构化、自我意识评估，结合大量内在的知识和新的认识，可以提高大型语言模型的理解能力。实验结果表明，元认知提示始终优于现有的提示方法，并通过提高 GPT-4 的性能水平，增强了 GPT-4 在各种自然语言理解任务中的表现。

Aug, 2023

针对少样本文本分类的统一提示调整

该论文提出了一种统一的 Prompt Tuning (UPT) 框架，通过从非目标自然语言处理数据集中明确捕获提示语义，使 BERT 风格模型在少样本文本分类方面取得更好的性能，该框架引入了一种新的编程范例 Prompt-Options-Verbalizer，强制 PLMs 捕获任务不变提示知识，经过多任务学习后，该模型可以更好地针对任何不同的低资源任务进行提示调整。

May, 2022

预训练语言模型中的知识激发对自然语言理解的影响

本研究提出了知识提示范式和基于知识提示的 Pre-trained 语言模型 KP-PLM 框架，该框架通过多种连续提示规则将知识子图转化为自然语言提示，并在这些提示的基础上提出了两个新的知识感知无监督任务，实验证明了 KP-PLM 在多个自然语言理解任务中的优越性。

Oct, 2022

情绪刺激与提示设计的交会：一种自动提示图形范式

大型语言模型的自动启动图形范例 (Auto-Prompt Graphical Paradigm,APGP) 可以通过结合刺激和框架启动来提高 LLM 在多个领域中的问题解决能力，进而实现问题抽象、多样化解决方案生成、全面优化以及提供答案后的自我验证，从而提高 LLM 在问题解决方面的效率和准确性，并为 LLM 的新应用开辟了新的道路。

Apr, 2024

基于心理学的思路链引导大型语言模型理解隐喻

本文使用思维导向提示将概率模型结构引入了大型语言模型的上下文学习中，以推断潜在变量并选择合适的隐喻释义，从而改进了模型的模仿能力。

Sep, 2022

在 GSM8K 上达到超过 97%：深入理解问题使 LLMs 成为完美的推理者

我们提出了一种名为深度理解问题（DUP）提示的新型提示策略，用于增强 LLMs 对问题的全面理解。实验结果表明，DUP 提示在各个数据集上明显优于零 - shot CoT，并在 SVAMP（90.4% 至 94.2%）和 GSM8K（94.6% 至 97.1%）方面取得了最新的成果。

Apr, 2024

大型语言模型是对比推理者

对比提示（CP）显著提高了大语言模型在复杂推理方面的能力。零 - shot 对比提示在算术、常识和符号推理任务上提升了性能，无需手动设计少数训练示例，与当前最先进的 GPT-4 模型相比，在 GSM8K 的准确率从 35.9% 提升至 88.8%，在 AQUA-RAT 的准确率从 41.3% 提升至 62.2%。该方法不仅在大多数算术和常识推理任务上超过了零 - shot CoT 和少数 - shot CoT，还能与现有的提示方法无缝集成，得到改进或相当的结果。

Mar, 2024

自我确信的激励机制：反复审视下的少样本问答

利用大规模预训练语言模型，通过迭代增强和定制提示来提升其在复杂任务中的性能。

Oct, 2023

更多询问，更深了解：基于大语言模型的增强学习问句在决策制定中的应用

利用领导者 - 追随者双层框架，本文实现了一个完全集成的端到端框架，用于处理复杂的推理任务，并通过引入历史发现为生成合适的问题（提示）提供指导，进而指导行动学习。

Oct, 2023

基于原则的指导是提问 LLaMA-1/2 和 GPT-3.5/4 所需的全部

本研究介绍了 26 个指导原则，旨在简化大规模语言模型查询和提示的过程，通过对 LLaMA-1/2、GPT-3.5/4 等模型的广泛实验验证所提原则在指令和提示设计上的有效性，以提供更好的指导给从事大规模语言模型提示研究的学者。

Dec, 2023