May, 2023

代码提示：一种用于大型语言模型中的复杂推理的神经符号方法

PDF
TL;DR本研究提出了一种叫做 code prompting 的新型神经符号提示方法，通过触发代码作为中间步骤，以实现符号和算术推理任务一直面对的语言及理解难题。经过对七项广泛使用的基准测试进行实验验证，研究者发现 Code Prompting 方法通常优于 Chain-of-Thought（CoT）Prompting。他们还考虑了代码提示和 CoT 提示的融合来结合两者的优点。最后，通过实验证明，代码注释及其位置如何影响代码提示。
large language modelscode promptingsymbolic reasoningarithmetic reasoningensemble learning
发现论文，激发创造
  • 使用伪代码指令提示

    本研究探讨通过使用伪代码指令进行提示是否有助于提高预训练语言模型的性能，发现使用伪代码指令可以提高分类任务的 F1 分数和总体 ROUGE 分数，结论表明伪代码提示可以改善预训练 LM 的性能。

    May, 2023

  • 探索代码提示的奇妙案例

    我们研究了使用编程提示和文本提示对三种流行的 GPT 模型 (davinci、code-davinci-002 和 text-davinci-002) 在更广泛的任务选择 (例如 QA、情感、摘要) 中的表现，结果表明，在很少例外的情况下，编程提示并没有始终优于文本提示。同时，我们还展示了代码提示的样式对某些但不是所有任务的性能有很大的影响，并且微调文本指令可以提高代码提示的相对性能。

    Apr, 2023

  • 代码提示引发了文本 + 代码模型的条件推理能力

    通过将自然语言问题转化为代码并用生成的代码提示进行训练，作者发现代码提示在需要条件推理的多个数据集上提高了 2.6 到 7.7 个 GPT 3.5 的绩效，并且观察到代码提示需要包含自然语言文本和高质量代码，以及其触发更优的变量或关键实例的状态跟踪。

    Jan, 2024

  • 大型语言模型链式符号提示引发规划行为

    本文提出了一种名为自然语言计划（NLP）的基准测试，由包含新颖任务的 Brick World、基于 NLVR 的操作和自然语言导航组成，着重研究 LLMs 在需要理解自然语言描述的虚拟空间环境并进行相应文本操作的复杂计划任务中的表现，发现常规的 ChatGPT 等 LLMs 缺乏复杂计划的能力，因此提出了一种适用于 LLMs 的新方法 CoS，可以更好地表示符号空间表示方法，并在三个计划任务中显著提高了 ChatGPT 的性能。

    May, 2023

  • 大型语言模型作为类比推理者

    通过模拟推理为大型语言模型自动生成相关样本或知识的新提示方法在各种推理任务中表现优于零示范的链式思考提示和人工少量示范的链式思考，包括 GSM8K 和 MATH 中的数学问题解决、Codeforces 中的代码生成和 BIG-Bench 中的其他推理任务。

    Oct, 2023

  • 代码感知提示：在使用 LLM 进行回归设置下的覆盖率引导测试生成研究

    对测试生成的向搜索引擎软件测试方法（Search Based Software Testing，SBST）进行了改进，使用大型语言模型（LLMs）和 SymPrompt 自动生成更全面的测试案例，提高测试质量与覆盖率。

    Jan, 2024

  • 最少指导下的逐步引导，使得大型语言模型能够进行复杂的推理

    本文提出了一种新的提示策略 least-to-most prompting，将复杂问题分解为多个子问题并顺序解决，可以解决比示范范例更难的例子，并在符号操作、组合泛化和数学推理方面表现出色。

    May, 2022

  • 大型语言模型的思路链主动提示

    本文提出了一种新的方法 Active-Prompt，通过任务特定的示例提示来适应 LLMs 的不同任务，通过从特定的查询池中选择最不确定的问题进行注释来确定哪些问题是最重要和有帮助的。经验结果表明了我们提出的方法的优越性，取得了八项复杂推理任务的最新成果。

    Feb, 2023

  • 大型语言模型是对比推理者

    对比提示（CP）显著提高了大语言模型在复杂推理方面的能力。零 - shot 对比提示在算术、常识和符号推理任务上提升了性能，无需手动设计少数训练示例，与当前最先进的 GPT-4 模型相比，在 GSM8K 的准确率从 35.9% 提升至 88.8%，在 AQUA-RAT 的准确率从 41.3% 提升至 62.2%。该方法不仅在大多数算术和常识推理任务上超过了零 - shot CoT 和少数 - shot CoT，还能与现有的提示方法无缝集成，得到改进或相当的结果。

    Mar, 2024

  • 源代码摘要的提示学习框架

    本文提出了一种用于代码摘要的新型提示学习框架，称为 PromptCS，该框架训练了一个能够生成连续提示的提示代理，以释放大语言模型在代码摘要中的潜力，相比于人工编写的离散提示，连续提示更易于大语言模型理解。PromptCS 在 CodeSearchNet 数据集上的评估结果表明，优于所有四个广泛使用的度量标准的指导学习方案，并且在某些基础大语言模型上，例如 CodeGen-Multi-2B 和 StarCoderBase-1B 和 - 3B，甚至优于任务导向的微调方案。重要的是，PromptCS 的训练效率比任务导向的微调方案更快，在较大的大语言模型上具有更明显的优势。人工评估的结果表明，与基准相比，PromptCS 能够生成更好的摘要。

    Dec, 2023