Jul, 2024

关于LLM应用商店的(不)安全性

HTML
PDF
TL;DR在本研究中，我们提出了一个三层的关注框架来识别LLM应用的潜在安全风险，其中包括具有滥用潜力的LLM应用、具有恶意意图的LLM应用和存在可利用漏洞的LLM应用。通过静态和动态分析、建立包括31,783个条目的大规模有害词典，以及自动监测工具，我们从六个主要应用商店收集了786,036个LLM应用，并发现了一些具有误导性描述的应用、违反隐私政策的应用以及产生有害内容的应用。此外，我们还评估了LLM应用促进恶意活动的潜力，发现了616个可能用于生成恶意软件、网络钓鱼等活动的应用。我们的研究结果强调了对强大的监管框架和加强执法机制的紧迫需求。
发现论文，激发创造
  • 欺骗LLMs反抗: 理解、分析和预防越狱

    本研究提出了形式主义和已知（和可能的）越狱攻击分类，并在开源和商业LLM（如GPT 3.5，OPT，BLOOM和FLAN-T5-xxl）上进行了现有越狱方法及其有效性的调查；我们进一步提出了一组有限的提示守卫，并讨论了其对已知攻击类型的有效性。

    May, 2023

  • LLMs在非法目的中的使用：威胁、预防措施和漏洞

    本文在探讨大语言模型的发展和分发迅速增长的背景下，关注其安全和安全相关威胁和漏洞的最新研究工作，并提供了已有的科学努力概述，以识别和缓解与大语言模型相关的威胁和漏洞。通过我们的工作，希望在资深开发人员和新颖技术用户中增强对大语言模型的局限性和安全问题的意识。

    Aug, 2023

  • 识别和减轻LLM集成应用程序中的漏洞

    使用大型语言模型（LLMs）作为LLM集成应用程序的服务后端的情况下，我们发现了潜在的攻击面和漏洞，并开发了一种轻量级、抗威胁的防御方法，以最大程度减少威胁并保证应用程序的完整性、来源识别、攻击可检测性和实用性保留。

    Nov, 2023

  • 大型语言模型（LLM）安全与隐私调查：优点、缺点和不好的一面

    这篇论文探讨了大型语言模型与安全和隐私的交叉领域，研究了它们对安全和隐私的积极影响、潜在的风险和威胁，以及模型本身的固有漏洞。通过全面的文献综述，将研究结果分为“有益”的应用、恶意应用和漏洞及其防御措施。论文还指出了需要进一步研究的领域，并希望通过该研究揭示大型语言模型在加强和危及网络安全方面的潜力。

    Dec, 2023

  • LLM越狱攻击与防御技术--综合研究

    该研究对破解大型语言模型（LLMs）及其防御技术进行了全面分析，评估了九种攻击技术和七种防御技术应用于Vicuna、LLama和GPT-3.5 Turbo三个不同语言模型的效果，并释放了数据集和测试框架，以促进LLM安全领域的进一步研究。

    Feb, 2024

  • LLM技术应用中的人类不可感知检索污染攻击

    LLM应用开发、检索增强生成、LLM应用、检索污染以及风险评估是本文的关键词。作者揭示了一种称为检索污染的新威胁，攻击者可以通过欺骗LLM应用程序在检索生成过程中生成恶意回应，对应用程序进行破坏。通过分析LLM应用程序框架，攻击者可以制作与正常文档在视觉上几乎无法区分的文档，一旦这些文档被用作检索增强生成的参考来源，应用程序就会产生错误的响应。初步实验表明攻击者可以以88.33%的成功率误导LLM，并在现实世界的应用中达到66.67%的成功率，展示了检索污染的潜在影响。

    Apr, 2024

  • LLMs能够深入检测复杂恶意查询吗？通过混淆意图进行越狱的框架

    提出了一种名为IntentObfuscator的黑盒越狱攻击方法，通过模糊用户提示背后的真实意图，使LLMs绕过其内置的内容安全措施，有效地规避了恶意意图检测；通过在ChatGPT-3.5等多个模型上的测试，证明了IntentObfuscator方法在多种敏感内容类型上的成功率，进而对加强LLM内容安全框架的“红队”策略产生了实质性的影响。

    May, 2024

  • 面向LLM的破解攻击的理解：表示空间分析

    通过研究大型语言模型中的有害和无害提示在表示空间中的行为，探讨成功越狱攻击的内在特性，并利用隐藏表示引入现有越狱攻击的目标，通过实验证实上述假设。希望该研究能为理解大型语言模型如何理解有害信息提供新的见解。

    Jun, 2024

  • 对抗越狱攻击的语言模型可靠性特征与评估

    本研究旨在解决大型语言模型（LLMs）在面对越狱攻击时的可靠性问题，尽管已有的保护措施仍然不足以阻止此类攻击。论文提出了一种全面的评估框架，并通过对10种越狱策略的实验验证，发现所有测试的LLMs在某些策略下均表现出脆弱性，继而提供了增强其安全性的建议。这一研究为提高LLMs在越狱攻击下的安全性评估提供了宝贵的见解。

    Aug, 2024

  • 大型语言模型应用的数据暴露：对OpenAI GPTs的深入调查

    本研究针对大型语言模型（LLM）应用中用户数据收集的隐私风险进行了深入分析，揭示了当前政策执行不力的现状。文章通过开发LLM框架对OpenAI的GPT生态系统进行静态分析，发现其附属服务（Actions）收集了大量敏感用户信息，并且多数服务未在隐私政策中明确披露数据收集实践，可能导致用户隐私的重大风险。

    Aug, 2024