Feb, 2024

基于真实用户查询评估文本到 SQL 系统的数据模型稳健性

PDF
TL;DR基于一个实际的部署案例和真实用户提问数据，本研究评估了 Text-to-SQL 系统在不同数据模型下的健壮性，并探讨了语言模型的性能以及训练数据规模、预处理和后处理步骤对系统性能的影响。此外，研究还为研究社区提供了一个新的基准数据集，可评估针对不同数据模型的查询复杂度。
text-to-sql systemsdata model robustnesstransformer-based language modelsreal-world deploymentbenchmark dataset
发现论文，激发创造
  • 下一代数据库接口：LLM 基于文本到 SQL 的调查

    根据自然语言问题（文本到 SQL）生成准确的 SQL 是一个长期存在的问题，传统的文本到 SQL 系统使用人工工程和深度神经网络，而最近的大型语言模型（LLMs）已经展示出在自然语言理解方面的显著能力，因此，将 LLM-based 实现整合到文本到 SQL 研究中可以带来独特的机遇、挑战和解决方案。

    Jun, 2024

  • 改进文本到 SQL 评估方法

    为了评估系统在现实世界中未见数据上的泛化能力，本文首先比较了人工生成和自动生成的问题，提出了当前 Text-to-SQL 系统评估的局限性和改进方法。其次，我们展示了现有数据集分为训练集和测试集的方法只能部分测试系统对新查询的泛化能力，因此提出了评估未来工作的补充数据集划分。最后，我们展示了在评估时变量的匿名会去除该任务的一个重要挑战。我们的观察强调了关键困难，并启发未来研究的有效衡量方法。

    Jun, 2018

  • 基于深度学习的自然语言文本到 SQL 查询转换：一项调查

    本文研究了使用自然语言作为桥梁，通过有效访问数据库创建一个高效的文本到 SQL 模型，重点探讨了 24 个不同神经网络模型以及 11 个常用数据集的特点和局限性，最终讨论了 Text2SQL 技术在实现无缝数据查询方面的可能性。

    Aug, 2022

  • TrustSQL：具备多样性无法回答问题的文本到 SQL 模型可靠性基准测试

    近期对于大型语言模型的研究取得了显著进展，特别是在将自然语言问题翻译为 SQL 查询方面的准确性能大幅提升。然而，对于实际部署中遇到的各种类型问题，包括无法回答的问题，这些文本到 SQL 模型的可靠性还知之甚少。为了探讨这个方面，我们提出了 TrustSQL，这是一个新的基准系统，旨在评估文本到 SQL 模型在单数据库和跨数据库设置下的可靠性。基准任务要求模型给出两种结果之一：1）SQL 预测；2）不进行预测，无论是由于生成的 SQL 可能存在问题，还是面对无法回答的问题。为了对模型进行评估，我们探索了特定于该任务的各种建模方法，包括：1）为可回答性检测、SQL 生成和错误检测优化独立的模型，然后将它们集成到一个单一的流程中；2）开发一个统一的方法，优化一个单一模型来解决所提出的任务。实验证实了我们的新可靠性评分，表明解决这一挑战涉及到许多不同的研究领域，并为模型发展开辟了新的途径。然而，尽管有这么多的方法，但没有一种能够超越纯基准的可靠性性能，即放弃回答所有问题。

    Mar, 2024

  • Dr.Spider：一种针对文本到 SQL 稳健性的诊断评估基准

    本文提出了一个跨领域文本到 SQL 基准（Spider）的综合健壮性评测来诊断模型的鲁棒性，并设计了 17 个数据库、自然语言问题和 SQL 查询的扰动来从不同角度衡量其鲁棒性。实验结果表明，即使是最鲁棒的模型在最具挑战性的扰动上也会出现 50.7% 的性能下降，分析了文本到 SQL 模型设计并提出了改进鲁棒性的见解。

    Jan, 2023

  • 文本到 SQL 的最近进展：我们已经掌握了什么，以及我们期望的

    该文回顾了 Text-to-SQL 在数据集、方法和评估方面的最新进展，总结了该领域所面临的挑战，并讨论了未来的研究方向，对于现有工作的快速访问和激励未来研究具有重要的指导意义。

    Aug, 2022

  • 文本到 SQL 模型的安全漏洞

    该研究旨在揭示自然语言处理算法易受攻击的弱点是否可能导致软件安全威胁。通过对常用于创建自然语言数据库接口的 Text-to-SQL 系统进行漏洞测试，作者发现 6 款商业应用程序的 Text-to-SQL 模块可以被操纵产生恶意代码，潜在地导致数据泄露和拒绝服务攻击，这是第一次演示了 NLP 模型可以作为攻击向量在野外被利用。此外，使用四个开源语言模型的实验验证了直接后门攻击 Text-to-SQL 系统可以在不影响其性能的情况下实现 100％的成功率。研究呼吁学术界和业界关注 NLP 算法相关软件安全问题，并鼓励探索缓解措施。

    Nov, 2022

  • 评估跨领域文本到 SQL 模型和基准

    通过对几个重要的跨领域文本到 SQL 基准进行广泛的研究和重新评估，本文发现由于提供的样本可能有多个解释，这些基准的完美表现是不可行的，并且在重新评估后，模型的相对性能会发生变化。最令人瞩目的是，我们的评估发现，最近基于 GPT4 的模型在人工评估中超过了 Spider 基准中的金标准参考查询，这一发现强调了在谨慎解读基准评估的同时，独立评估在推动该领域进展中起到关键作用。

    Oct, 2023

  • 基于大型语言模型的文本转 SQL：基准评估

    本文对大型语言模型（LLMs）在 Text-to-SQL 任务中的应用进行了研究，提出了一种新的集成解决方案 DAIL-SQL，并通过实验证明了其在 Spider 排行榜上取得了 86.6% 的执行准确率。研究重点在于提示工程中的令牌效率和任务特定的监督微调。通过探索开源 LLMs 在 Text-to-SQL 中的潜力，以及任务特定的监督微调的优势和劣势，希望能够对 LLMs 在 Text-to-SQL 领域提供更深入的了解，并激发进一步的研究和广泛应用。

    Aug, 2023

  • 大型语言模型的文本到 SQL 能力基准测试：全面评估

    通过构建新数据集和提出五个评估任务，全面评估不同方法在文本到 SQL 过程中的性能，揭示了大型语言模型之间的性能差异，并提出了针对每个任务的最佳上下文学习解决方案，为改进基于大型语言模型的文本到 SQL 系统的开发提供了有价值的见解。

    Mar, 2024