文本到 SQL 模型的安全漏洞

Nov, 2022

On the Security Vulnerabilities of Text-to-SQL Models

Xutan Peng, Yipeng Zhang, Jingfeng Yang, Mark Stevenson

TL;DR该研究旨在揭示自然语言处理算法易受攻击的弱点是否可能导致软件安全威胁。通过对常用于创建自然语言数据库接口的 Text-to-SQL 系统进行漏洞测试，作者发现 6 款商业应用程序的 Text-to-SQL 模块可以被操纵产生恶意代码，潜在地导致数据泄露和拒绝服务攻击，这是第一次演示了 NLP 模型可以作为攻击向量在野外被利用。此外，使用四个开源语言模型的实验验证了直接后门攻击 Text-to-SQL 系统可以在不影响其性能的情况下实现 100％的成功率。研究呼吁学术界和业界关注 NLP 算法相关软件安全问题，并鼓励探索缓解措施。

Abstract

Although it has been demonstrated that natural language processing (NLP) algorithms are vulnerable to deliberate attacks, the question of whether such weaknesses can lead to software security threats is under-exp

natural language processing vulnerability software security text-to-sql attack vectors

发现论文，激发创造

文本数据的自然后门攻击

本研究提出了针对 NLP 模型的 “自然后门攻击”，对文本数据进行触发器生成，并研究了不同类型的触发器，最终在文本分类任务上实现了 100% 的后门攻击成功率和 0.83% 的牺牲。

Jun, 2020

基于真实用户查询评估文本到 SQL 系统的数据模型稳健性

基于一个实际的部署案例和真实用户提问数据，本研究评估了 Text-to-SQL 系统在不同数据模型下的健壮性，并探讨了语言模型的性能以及训练数据规模、预处理和后处理步骤对系统性能的影响。此外，研究还为研究社区提供了一个新的基准数据集，可评估针对不同数据模型的查询复杂度。

Feb, 2024

基于深度学习的自然语言文本到 SQL 查询转换：一项调查

本文研究了使用自然语言作为桥梁，通过有效访问数据库创建一个高效的文本到 SQL 模型，重点探讨了 24 个不同神经网络模型以及 11 个常用数据集的特点和局限性，最终讨论了 Text2SQL 技术在实现无缝数据查询方面的可能性。

Aug, 2022

在防御系统中的提示注入攻击

通过三层防御机制，本研究调查了对大型语言模型的黑盒攻击方法，分析了这些攻击所带来的挑战和重要性，评估了现有攻击和防御方法的有效性和适用性，并特别关注了黑盒攻击的检测算法，用于识别语言模型中的危险漏洞和获取敏感信息，提出了一种对大型语言模型进行黑盒攻击的漏洞检测方法和防御策略的开发。

Jun, 2024

不可察觉的自然语言处理攻击

本研究探索了一种新的文本诱骗攻击方式，使用对人眼不可见的编码特定干扰，攻击了广泛应用于神经机器翻译和网络搜索引擎等自然语言处理系统的文本模型，破坏了系统的性能，提出了输入净化的需求。

Jun, 2021

自然语言处理中的用户中心安全

本学位论文提出了一种用户中心的自然语言处理（NLP）安全框架，并演示了如何改进相关研究的可访问性。该框架主要研究语言上的对抗攻击，并探讨如何通过语言的对抗样本实现隐私保护，并评估文化变革和词汇增强对网络欺凌检测的影响。

Jan, 2023

基于物联网防御的文本转 SQL 之上：用于查询和分类物联网威胁的全面框架

基于物联网文本到 SQL 数据集，我们研究了如何从返回的数据中推断新信息，通过两阶段处理（查询和数据信息推断）可以改善文本到 SQL 的性能，并提供了测试领域特定推理的新方法。

Jun, 2024

揭示数据库的漏洞：文本到 SQL 系统中的零知识模式推理攻击

通过特别设计的问题，我们开发了一种零知识的框架，用于探测数据库模式的各种元素，从而揭示数据库模式的结构。我们将其应用于文本到 SQL 模型和生成语言模型，可以在细调模型中以近.75 的 F1 值和生成模型中以.96 的 F1 值重建表名。

Jun, 2024

可学习的文本后门攻击：基于词替换的组合锁攻击

本文研究表明神经自然语言处理模型容易受到后门攻击的威胁，而现有文本后门攻击方法容易被检测和阻拦，因此我们提出一种使用可学习的词汇替换的不可见后门攻击方法，结果表明该方法在攻击成功率接近 100% 的情况下高度隐蔽，对于 NLP 模型的安全构成威胁，需要进一步研究解决。

Jun, 2021

下一代数据库接口：LLM 基于文本到 SQL 的调查

根据自然语言问题（文本到 SQL）生成准确的 SQL 是一个长期存在的问题，传统的文本到 SQL 系统使用人工工程和深度神经网络，而最近的大型语言模型（LLMs）已经展示出在自然语言理解方面的显著能力，因此，将 LLM-based 实现整合到文本到 SQL 研究中可以带来独特的机遇、挑战和解决方案。

Jun, 2024