我们提出了结构化语言生成模型(SLGM),这是一种结合新的损失函数和推理方法,以更好地泛化结构化输出的混合模型。
Feb, 2024
使用大语言模型和 SQL 查询从自然语言文本中提取数据和查询,是信息检索和处理的新方向并带来了新的挑战和机遇。
Apr, 2023
结构化数据是普遍的知识源,大型语言模型在处理结构化数据方面存在显著不足,为了增加语言模型中的结构化知识落地能力,研究人员开发了一种全面的指导调整数据集,并利用此数据集训练了一系列基于 Code-LLaMA 架构的模型,横跨 7B 到 34B 参数范围。这些模型在 18 个评估数据集中有 14 个超越了任务专用模型,并在 7 个结构化知识落地任务中取得了新的最佳成果。此外,这些模型在 6 个新的结构化知识落地任务上表现出出色的泛化能力。然而,我们观察到模型规模的扩大只能带来些微的改进,这表明结构化知识落地仍然是一个具有挑战性的任务,需要更多创新的设计突破新的领域。
利用生成模型将自然语言问题转换成 SQL 查询,并通过考虑表格结构和 SQL 语法来提高查询的可执行性和准确性。在 WikiSQL 数据集上进行实验,将执行准确率从 69.0%提高到 74.4%。
Apr, 2018
该研究探讨了神经话语解析的问题,引入新的执行指南机制来利用 SQL 的语义,证明其普遍提高了基于自回归生成模型的语义解析模型的性能。
Jul, 2018
利用知识生成 SQL 的框架对于 text-to-SQL 任务中缺乏知识的查询可以提供准确的 SQL 生成操作,并通过强化学习和数据库反馈进一步提高模型性能。
根据自然语言问题(文本到 SQL)生成准确的 SQL 是一个长期存在的问题,传统的文本到 SQL 系统使用人工工程和深度神经网络,而最近的大型语言模型(LLMs)已经展示出在自然语言理解方面的显著能力,因此,将 LLM-based 实现整合到文本到 SQL 研究中可以带来独特的机遇、挑战和解决方案。
Jun, 2024
本文提出了一种处理 neural text-to-SQL models 中编写语法的复杂性的技术,从而生成 schema-dependent grammar,对 ATIS 和 Spider 两个挑战性的 text-to-SQL 数据集进行分析,显示可以减少 14-18% 的相对误差。
May, 2019
引入 SUQL,结构化和非结构化查询语言,它是第一个在形式上可执行表示中自然覆盖结构化和非结构化数据查询的表达。通过增加几个自由文本原语来形成精确、简洁和表达力强的表示。使用大型语言模型基于 SUQL 开发的交互式搜索代理程序,包括适用于 SUQL 的少样本上下文语义解析器。在验证我们的方法时,引入了一个由众包问题和有关真实餐厅的对话组成的数据集。数据集中超过 51% 的问题需要使用结构化和非结构化数据,表明这是一种常见现象。我们表明,基于 SUQL 的少样本交互式代理程序在 89.3% 的情况下可以找到满足所有用户需求的实体,而一个强大且常用的基准系统只能在 65.0% 的情况下实现相同效果。
Nov, 2023
研究表明,通过任务分解可以大大提高大型语言模型在数据库理解和查询生成方面的能力,从而通过 SQL 查询回答人类问题。我们提出了一个新的框架,通过将架构划分为块来在有限的上下文中容纳更多信息,该方法的结果与 GPT-4 相当,但体积更小、速度更快并且成本更低。
Jan, 2024