prompt injection | BriefGPT

关键词prompt injection

搜索结果 - 6

基于目标引导的生成式提示注入攻击大型语言模型
通过重新定义攻击目标并设计简单而有效的目标导向生成式提示注入策略（G2PIA），我们最大化纯文本和对抗文本之间的 KL 散度，从而在无查询条件下以较低的计算成本实现最佳攻击效果。在七个大型语言模型和四个数据集上的实验结果表明我们的攻击方法的
PDF3 months ago
遵循我的指示并透露机密：检索增强型生成系统的可伸缩数据提取
Retrieval-Augmented Generation (RAG) 可以增强预训练模型，通过在测试时引入外部知识以实现定制化适应性。研究发现，Retrieval-In-Context RAG 语言模型中存在数据存储泄露的风险，对于多种
PDF4 months ago
Maatphor：自动化变体分析用于立即注入攻击
我们提出了一个工具来帮助防御者执行已知提示注入攻击的自动变种分析，旨在自动生成给定提示的变种，并仅通过模型的输出自动确定变种的有效性。该工具还可以辅助生成破解和提示注入攻击的数据集，从而克服该领域数据稀缺的问题。
PDF7 months ago
ArthModel: 提升大型语言模型的算术技能
通过训练语言模型生成与算数问题相关的后缀表达式，并将其与小型预训练模型结合，将令牌嵌入转化为真实稠密数字，通过深度学习平台的本地函数获得正确答案。最后，通过提示注入将小型模型的结果输出添加到语言模型中，从而增强了语言模型的算数能力。
PDF7 months ago
通过全球规模的提示破解竞赛揭示 LLM 系统的系统性漏洞
通过全球 prompt 黑客竞赛，我们描述了当前大规模语言模型可以通过 prompt 黑客而遭受攻击，提供了对三种最先进的大规模语言模型进行的 600K+ 对抗性 prompt 的数据集，并提出了对敌对 prompt 类型的综合分类本体论。
PDF8 months ago
Prompt Injection: 固定输入参数化
本文提出了一种名为 Prompt Injection（PI）的新方法，通过将提示注入 LM 的参数中，来代替在输入中添加固定提示的方法，以提高其在特定任务上的性能。在实现固定提示较长的情况下，PI 的操作效率比之前的方法高达 280 倍。我
PDF2 years ago