探索代码提示的奇妙案例

Apr, 2023

Exploring the Curious Case of Code Prompts

Li Zhang, Liam Dugan, Hainiu Xu, Chris Callison-Burch

TL;DR我们研究了使用编程提示和文本提示对三种流行的 GPT 模型 (davinci、code-davinci-002 和 text-davinci-002) 在更广泛的任务选择 (例如 QA、情感、摘要) 中的表现，结果表明，在很少例外的情况下，编程提示并没有始终优于文本提示。同时，我们还展示了代码提示的样式对某些但不是所有任务的性能有很大的影响，并且微调文本指令可以提高代码提示的相对性能。

Abstract

Recent work has shown that prompting language models with code-like representations of natural language leads to performance improvements on structured reasoning tasks. However, such tasks comprise only a small s

language models code prompts text prompts gpt models performance

发现论文，激发创造

使用伪代码指令提示

本研究探讨通过使用伪代码指令进行提示是否有助于提高预训练语言模型的性能，发现使用伪代码指令可以提高分类任务的 F1 分数和总体 ROUGE 分数，结论表明伪代码提示可以改善预训练 LM 的性能。

May, 2023

代码提示：一种用于大型语言模型中的复杂推理的神经符号方法

本研究提出了一种叫做 code prompting 的新型神经符号提示方法，通过触发代码作为中间步骤，以实现符号和算术推理任务一直面对的语言及理解难题。经过对七项广泛使用的基准测试进行实验验证，研究者发现 Code Prompting 方法通常优于 Chain-of-Thought（CoT）Prompting。他们还考虑了代码提示和 CoT 提示的融合来结合两者的优点。最后，通过实验证明，代码注释及其位置如何影响代码提示。

May, 2023

非自然语言处理：语言模型如何处理机器生成的提示？

语言模型提示优化研究表明，通过无明显意义或语法结构的自动生成的令牌序列，包括模型嵌入空间中的向量序列，通常胜过语义和语法良好的手工制作的提示。我们使用机器生成的提示来探究模型对非自然语言表达组成的输入的响应，并在多个语义任务中研究不同尺寸模型的行为，以及它们对连续和离散机器生成的提示和人工生成的自然语言提示的响应行为进行比较。即使产生相似的输出，机器生成的和人工提示通过网络处理途径触发不同的响应模式，包括不同的困惑度、不同的注意力和输出熵分布，以及不同的单元激活特征。我们提供了对不同提示类型激活的单元性质的初步洞察，表明只有自然语言提示才会引起真正的语言电路的激活。

Oct, 2023

大型语言模型的提示式编程：超越少样本范式

使用 GPT-3 模型分析得出少量样例引导更接近于已学习的任务，本文探讨使用自然语言编程来优化引导，提出元引导概念后能够生成更多的任务自然语言引导，展望这些方法如何应用于实践应用。

Feb, 2021

使用自然语言，提示是否解决自然语言处理任务？

本文研究了三种 Prompt（包括 Human-designed，Schema 以及 Null prompt）在有监督 / 无监督场景下的有效性，最终发现 Schema prompt 可以提高训练效果，且随着数据规模的扩大，不同 Prompt 的表现越来越接近。

Mar, 2022

CodePrompt: 通过提示学习提升源代码相关分类的知识特征

CodePrompt 是一种新颖方法，利用 prompt 学习和注意机制从预训练模型中召回丰富的知识来提高源代码相关的分类任务的准确性。该方法避免了需要额外的神经网络层和降低计算成本，并采用注意机制来聚合多层相关知识作为最终特征，从而在准确度方面达到新的最佳性能，并具备节省计算成本的能力。

Jan, 2024

Few-shot 提示在文本推理中解释的不可靠性

本文研究了将 GPT-3 等大型语言模型与说明相结合是否能够提高上下文学习效果，发现对于涉及文本推理的自然语言推理和问答任务，使用不同样式的说明对 OPT、GPT-3（davinci）和 InstructGPT（text-davinci-001）等四个 LLM 的性能仅会带来小至中等的准确性提高，而 text-davinci-002 能够带来更实质性的提高，并且 LLM 产生的说明可能不支持、甚至与模型预测不一致，但这些说明仍有助于验证模型的预测，在此观察基础上，文章通过训练校准器使用自动提取的评分评估说明的可靠性，从而在全部数据集上实现后处理性能的提高。

May, 2022

代码生成中使用的提示的质量评估

评估大型语言模型在代码生成方面的效果时，需要使用健全的基准测试，而不严谨的评估基准会提供虚假的性能表现。本研究分析了 9 个代码生成基准中的 3,566 个提示，以确定其中的质量问题，并研究了修复这些问题对模型性能的影响。发现评估基准主要侧重于 Python 和编码练习，且缺乏上下文依赖关系，同时还存在拼写和语法错误、表达不清晰以及不符合适当文档规范等质量问题。修复这些问题可以提高 Python 代码生成的性能，但对 Java 代码生成的改进不明显。此外，还发现 GPT-3.5-Turbo 和 CodeGen-2.5 模型可能存在数据污染问题。

Apr, 2024

通过困惑度估计解密语言模型中的提示

通过对语言模型的提示和降低困惑度等优化，可以改善模型在 zero-shot 学习中的性能。

Dec, 2022

代码提示引发了文本 + 代码模型的条件推理能力

通过将自然语言问题转化为代码并用生成的代码提示进行训练，作者发现代码提示在需要条件推理的多个数据集上提高了 2.6 到 7.7 个 GPT 3.5 的绩效，并且观察到代码提示需要包含自然语言文本和高质量代码，以及其触发更优的变量或关键实例的状态跟踪。

Jan, 2024