Oct, 2023

ACT-SQL: 上下文学习的自动生成思维链文本到 SQL

PDF
TL;DR我们研究了在文本到 SQL 任务中的提示设计问题，并尝试提高大型语言模型在生成 SQL 查询时的推理能力。我们设计了一种类似于模式链接的思维链 (CoT) 提示的方法，并提供了一种名为 ACT-SQL 的方法来自动生成自动 CoT 示例，从而整个过程不需要手动标注。我们的方法在生成一个 SQL 查询时仅使用一次 LLMs 的 API 调用，从而节省了成本。此外，我们将我们的上下文学习方法扩展到多轮文本到 SQL 任务。实验结果表明，LLMs 的性能可以受益于我们的 ACT-SQL 方法。在现有的上下文学习方法中，我们的方法在 Spider dev 数据集上实现了最好的性能。
large language modelsprompt designingtext-to-sql taskchain-of-thought promptact-sql approach
发现论文，激发创造
  • CoE-SQL: 基于上下文的多轮文本到 SQL 学习与版本链

    我们通过引入 CoE-SQL 方法，利用上下文依赖关系来改善大型语言模型在多轮文本转 SQL 任务中生成 SQL 查询时的推理能力，并通过大量消融研究确定了最佳配置，从而稳定地优于其他基线模型，同时在 SParC 和 CoSQL 两个基准测试上取得了最新性能，与 SOTA fine-tuned 模型相媲美。

    May, 2024

  • 探究思维链式提示在文本到 SQL 转换中的应用

    本文研究如何通过链式思维提示增强 LLM 的文本到 SQL 解析的推理能力，实验结果表明，通过避免错误传播的详细信息，新方法在 Spider 开发集上的表现比现有方法提高了 2.4 个绝对值。

    May, 2023

  • 分而治之：面向 Text-to-SQL 的思路链引导

    本文提出了一种新的 Text-to-SQL 任务提示范例，称为 Divide-and-Prompt，采用 Chain-of-thought prompting 和大型语言模型解决复杂的 Text-to-SQL 语义解析任务，实验表明这些提示方法提高了 LLM 生成更高执行准确性的 Text-to-SQL 的能力。

    Apr, 2023

  • 增强大型语言模型的少样本文本到 SQL 能力：关于提示设计策略的研究

    本文介绍了一种基于大型语言模型的 In-context learning 方法用于文本到 SQL 查询转换中，通过不同的演示选择策略和指令格式来提高 LLMs 性能。实验结果表明，该方法在 Spider 数据集上超出了最先进系统 2.5 个点，超出了最佳微调系统 5.1 个点。

    May, 2023

  • 大型语言模型的思路链主动提示

    本文提出了一种新的方法 Active-Prompt，通过任务特定的示例提示来适应 LLMs 的不同任务，通过从特定的查询池中选择最不确定的问题进行注释来确定哪些问题是最重要和有帮助的。经验结果表明了我们提出的方法的优越性，取得了八项复杂推理任务的最新成果。

    Feb, 2023

  • 基于检索增强的 GPT-3.5 的文本到 SQL 框架，具备样本感知提示和动态修订链

    本文提出一种基于大型语言模型的 Text-to-SQL 框架 —— 检索增强提示法，包括样本感知提示和动态修订链，通过引入检索来生成针对自然语言问题的 SQL 查询。

    Jul, 2023

  • 如何引导 LLMs 进行文本到 SQL 转换：零 - shot、单域和跨域场景的研究

    研究大型语言模型在上下文学习中在文本到 SQL 任务中的表现，尤其是对于提示文本构建的影响和最有效的构建策略进行的全面调查。

    May, 2023

  • SQLPrompt：使用最少标记数据的上下文文本到 SQL 转换

    提出了 “SQLPrompt” 方法，用于改善大型语言模型 (Text-to-SQL) 在少样本预测上的效果，包括创新的提示设计、基于执行结果一致性的解码策略、以及通过不同提示设计和基础模型的混合来提高性能，实验证明 “SQLPrompt” 在有限标注数据的情境学习中显著优于之前的方法，缩小了与使用数千标注数据进行微调的最先进方法的差距。

    Nov, 2023

  • 自动发现的链式思维提示适用于新模型和数据集

    通过使用自动探索的 CoT prompt 对多个 LLMs 进行无监督语言生成，我们发现将该 prompt 应用于最新的 GPT-4 模型是最优的。

    May, 2023

  • 像本地人一样说话：以本地风格提示大型语言模型

    使用新的方法 AlignCoT，通过将上下文示例与 LLMs 的固有风格对齐，有效地改进了 LLMs 的推理能力，并结合其他最新的提示工程技术进一步提高了其性能。

    Nov, 2023