大型语言模型应用的数据暴露:对OpenAI GPTs的深入调查
本研究探讨了OpenAI和New Bing API应用中集成的大型语言模型对隐私的威胁,通过实验支持了对应用集成的LLM可能带来比以前更严重的隐私威胁的观点。
Apr, 2023
通过插件生态系统来提高大型语言模型平台的安全性、隐私性和安全性,提出了一种攻击分类法的框架,在OpenAI的插件生态系统中应用了该框架,并提出了改进当前和未来基于LLM的计算平台的建议。
Sep, 2023
通过利用大型语言模型(LLM)开展文本分析,本研究构建了PolicyGPT隐私政策文本分析框架,并在两个数据集上进行了测试,结果表明在零样本学习条件下,PolicyGPT取得了强大的性能,并优于传统机器学习和神经网络模型。
Sep, 2023
建立尊重用户隐私的伦理性大型语言模型对话代理 (LLM-CA) 需要深入了解用户最关心的隐私风险,并解决用户隐私、效用和便利之间的权衡问题。研究发现,用户在使用 LLM-CA 时面临隐私、效用和便利之间的不断选择,但用户对隐私风险的认知受到错误的心理模型和系统设计中的黑暗模式的限制。为了保护 LLM-CA 用户的隐私,我们讨论了实际设计指南和范式转移的需求。
Sep, 2023
使用大型语言模型(LLMs)作为LLM集成应用程序的服务后端的情况下,我们发现了潜在的攻击面和漏洞,并开发了一种轻量级、抗威胁的防御方法,以最大程度减少威胁并保证应用程序的完整性、来源识别、攻击可检测性和实用性保留。
Nov, 2023
大规模语言模型(LLMs)的商业化导致了对专有模型进行高级API访问的常见做法。然而,我们的研究发现,即使在对模型架构保守假设的情况下,通过相对较少的API查询(例如,OpenAI的gpt-3.5-turbo下成本不到1000美元),仍然可以从API保护的LLM中获取大量非公开信息。此研究发现的核心观察结果是:大多数现代LLM都存在softmax瓶颈,这会将模型输出限制在完整输出空间的线性子空间内。我们展示了这一现象可用于建立模型图像或模型特征,从而具备多种功能,包括高效发现LLM的隐藏大小、获取完整词汇输出、检测和消除不同的模型更新、根据单个完整LLM输出确定源LLM,甚至估计输出层参数。我们的实证研究证明了我们方法的有效性,根据我们的方法,我们估计OpenAI的gpt-3.5-turbo的嵌入大小约为4,096。最后,我们讨论了LLM供应商可以采取的保护措施,以及这些功能如何被视为一种特性(而非Bug),通过实现更高的透明度和责任可得到更多好处。
Mar, 2024
通过开发一个推断隐私保护的大型语言模型框架并提出无免费午餐(NFL)定理,本研究为检验隐私保护和效用之间的相互作用奠定了坚实的理论基础。
May, 2024
本研究解决了大型语言模型(LLMs)中数据隐私风险未被系统评估的空白问题。通过引入一款名为LLM-PBE的工具包,我们提供了一种全生命周期的隐私评估方法,结合了多种攻击与防御策略,并深入分析了模型大小、数据特性等影响因素。研究结果为理解LLMs中的隐私问题提供了重要资源,对未来研究具有显著影响。
Aug, 2024
本研究针对大型语言模型(LLMs)在隐私合规和技术隐私评审中的应用不足问题,提供了全面的案例研究。提出了隐私技术评审(PTR)框架,并通过实证评估多个知名LLMs在隐私信息提取、法律和监管关键点检测等任务中的表现,发现尽管这些模型在自动化隐私审查方面具有潜力,仍存在与法律标准全面合规的显著 gaps。
Sep, 2024