探究思维链式提示在文本到 SQL 转换中的应用
本文提出了一种新的 Text-to-SQL 任务提示范例，称为 Divide-and-Prompt，采用 Chain-of-thought prompting 和大型语言模型解决复杂的 Text-to-SQL 语义解析任务，实验表明这些提示方法提高了 LLM 生成更高执行准确性的 Text-to-SQL 的能力。
Apr, 2023
我们研究了在文本到 SQL 任务中的提示设计问题，并尝试提高大型语言模型在生成 SQL 查询时的推理能力。我们设计了一种类似于模式链接的思维链 (CoT) 提示的方法，并提供了一种名为 ACT-SQL 的方法来自动生成自动 CoT 示例，从而整个过程不需要手动标注。我们的方法在生成一个 SQL 查询时仅使用一次 LLMs 的 API 调用，从而节省了成本。此外，我们将我们的上下文学习方法扩展到多轮文本到 SQL 任务。实验结果表明，LLMs 的性能可以受益于我们的 ACT-SQL 方法。在现有的上下文学习方法中，我们的方法在 Spider dev 数据集上实现了最好的性能。
Oct, 2023
我们通过引入 CoE-SQL 方法，利用上下文依赖关系来改善大型语言模型在多轮文本转 SQL 任务中生成 SQL 查询时的推理能力，并通过大量消融研究确定了最佳配置，从而稳定地优于其他基线模型，同时在 SParC 和 CoSQL 两个基准测试上取得了最新性能，与 SOTA fine-tuned 模型相媲美。
May, 2024
本论文研究了 Chain-of-Thought 提示对大型语言模型的多步推理能力的影响，发现即使使用无效的推理步骤，其提示也能达到 80-90% 的性能，并探究了其他理性方面的影响。
Dec, 2022
链式思维提示可以引导语言模型进行复杂的多步推理。我们提出了一种考虑演示模式多样性的提示方法，通过在中间步骤中结合步长和推理过程等模式，有效地缓解由演示引起的偏差问题并实现对不同场景的更好泛化。我们在两个开源 LLM 模型上进行了九个推理基准任务的实验，结果表明我们的方法大大提高了推理性能，并且对错误表现出鲁棒性。代码将公开提供。
Apr, 2024
通过对 Chain-of-Thought（CoT）提示方式的研究，我们发现 CoT 的正确操作和数值是 GPT-3 在各种任务中获得准确答案的关键，而错误操作会对性能产生负面影响，这项研究加深了我们对 CoT 提示方式的理解，也提出了有关大语言模型在上下文中学习推理能力的新问题。
Sep, 2023
通过使用自动探索的 CoT prompt 对多个 LLMs 进行无监督语言生成，我们发现将该 prompt 应用于最新的 GPT-4 模型是最优的。
May, 2023
本文研究了基于 chain of thought (CoT) prompting 的 few-shot 学习机制，使用反事实提示进行实验，并通过多个模型证实了 CoT 的成功不是由 pattern 的存在而来，而是其中一个目的是在输出中找到正确的单词以形成一个正确的答案。文本有助于从问题中提取通识知识和含义，模式则强化任务理解和直接文本生成。
Sep, 2022