知识到 SQL:利用数据专家 LLM 提升 SQL 生成
根据自然语言问题(文本到 SQL)生成准确的 SQL 是一个长期存在的问题,传统的文本到 SQL 系统使用人工工程和深度神经网络,而最近的大型语言模型(LLMs)已经展示出在自然语言理解方面的显著能力,因此,将 LLM-based 实现整合到文本到 SQL 研究中可以带来独特的机遇、挑战和解决方案。
Jun, 2024
本文对大型语言模型(LLMs)在 Text-to-SQL 任务中的应用进行了研究,提出了一种新的集成解决方案 DAIL-SQL,并通过实验证明了其在 Spider 排行榜上取得了 86.6% 的执行准确率。研究重点在于提示工程中的令牌效率和任务特定的监督微调。通过探索开源 LLMs 在 Text-to-SQL 中的潜力,以及任务特定的监督微调的优势和劣势,希望能够对 LLMs 在 Text-to-SQL 领域提供更深入的了解,并激发进一步的研究和广泛应用。
Aug, 2023
研究了如何将复杂的文本到 SQL 任务分解为较小的子任务,从而显著提高大型语言模型(LLMs)在推理过程中的性能,证明了将 SQL 查询分解为子问题并将这些子问题的解决方案提供给 LLMs 可以显著提高性能。在三个 LLMs 上的实验表明,此方法始终将性能提高约 10%,推动 LLMs 的准确性接近最先进水平,甚至超过用于持有 Spider 数据集的大型精调模型。
Apr, 2023
本研究提出了一种基于大型语言模型的 Text-to-SQL 模型 SQL-PaLM,该模型在几种不同的任务测试中都取得了最优结果,并展示了其应用于现实场景的鲁棒性和智能能力。
May, 2023
LLMDB 是一种通过应用机器学习和大型语言模型优化数据管理问题的范例,具有高泛化能力和推理能力,可避免幻觉问题,并通过引入特定领域的知识、矢量数据库和 LLM 代理来提高准确性,其中三个真实场景包括查询重写、数据库诊断和数据分析。
Feb, 2024
研究表明,通过任务分解可以大大提高大型语言模型在数据库理解和查询生成方面的能力,从而通过 SQL 查询回答人类问题。我们提出了一个新的框架,通过将架构划分为块来在有限的上下文中容纳更多信息,该方法的结果与 GPT-4 相当,但体积更小、速度更快并且成本更低。
Jan, 2024
通过工作流模式方法,改善大型语言模型在文本到 SQL 任务中的上下文学习能力,提高关注力和问题解决范围,包括信息确定模块、基于问题分类的全新提示结构,以及自我纠正和主动学习模块的引入。在三个数据集上的广泛实验表明,我们的方法表现优于其他方法,显著提高了基准指标,并在 Spider 测试数据集上取得了新的最佳结果。
Feb, 2024
本研究介绍了一个新的长格式数据库问答数据集,旨在评估大型语言模型(LLMs)与 SQL 解释器的互动。研究发现即使对于最先进的 GPT-4 模型,这个任务也存在巨大挑战。我们提出并评估了两种互动策略,并对互动过程中的各个阶段进行了细致分析。一个重要发现是确定了两个主要瓶颈,即规划能力和生成多个 SQL 查询能力。为了解决准确评估答案质量的挑战,我们引入了一个多代理评估框架,模拟学术同行评审过程,增强了我们评估的精确性和可靠性。该框架使我们能够更加细致地了解当前 LLMs 在复杂检索和推理任务中的优点和局限性。
Nov, 2023
利用外部知识辅助大规模语言模型(LLM)在生成真实可用的文本方面具有潜力,因此我们提出了一种名为‘Knowledge-Enhanced LLMRec’的方法,通过使用外部知识在生成过程中,并且通过基于知识的对比学习方案来训练模型,实验证实了该方法的有效性。
Mar, 2024