Feb, 2024

基于 LLM 的实际系统中的安全问题探索：LLM 安全的新时代

PDF
TL;DR在本文中，我们系统地分析了 LLM 系统的安全性，通过建立信息流及其在 LLM 内部和 LLM 与其他对象之间的一致性约束，将 LLM 系统的攻击面分解为三个关键部分：多层安全分析，约束存在性分析和这些约束的鲁棒性分析。通过对最新的 LLM 系统 OpenAI GPT4 的多层和多步骤分析，我们发现了不仅仅存在于 LLM 模型本身，还包括与其他组件整合的安全问题。我们发现尽管 OpenAI GPT4 已经设计了多重安全约束来提高其安全性，但这些安全约束仍然容易受到攻击。为了进一步展示我们发现的漏洞的现实威胁，我们构建了一个端到端攻击，黑客可以非法获取用户的聊天历史，而无需操纵用户的输入或直接访问 OpenAI GPT4。
发现论文，激发创造
  • LLM 平台的安全性：将系统评估框架应用于 OpenAI 的 ChatGPT 插件

    通过插件生态系统来提高大型语言模型平台的安全性、隐私性和安全性，提出了一种攻击分类法的框架，在 OpenAI 的插件生态系统中应用了该框架，并提出了改进当前和未来基于 LLM 的计算平台的建议。

    Sep, 2023

  • 大型语言模型（LLM）安全与隐私调查：优点、缺点和不好的一面

    这篇论文探讨了大型语言模型与安全和隐私的交叉领域，研究了它们对安全和隐私的积极影响、潜在的风险和威胁，以及模型本身的固有漏洞。通过全面的文献综述，将研究结果分为 “有益” 的应用、恶意应用和漏洞及其防御措施。论文还指出了需要进一步研究的领域，并希望通过该研究揭示大型语言模型在加强和危及网络安全方面的潜力。

    Dec, 2023

  • 用于网络安全的大型语言模型：系统文献综述

    大型语言模型在网络安全领域的应用综述，包括漏洞检测、恶意软件分析、数据隐私等问题，指出了数据集大小与多样性的重要性以及未来研究方向。

    May, 2024

  • 大型语言模型的安全与隐私挑战概述

    该文综述了大型语言模型在安全与隐私方面面临的挑战，分析了其脆弱性，并审查了潜在的攻击方式与防御机制，还指出了该领域中的研究空白与未来发展方向。

    Jan, 2024

  • 保护大型语言模型：威胁、漏洞和负责任的做法

    对大型语言模型（LLMs）的安全与隐私问题进行了全面的研究，从安全与隐私问题、对抗性攻击的脆弱性、滥用影响、缓解策略以及当前策略的局限性等五个主题角度进行深入探讨，并提出了未来研究的有前景的方向，以增强 LLMs 的安全和风险管理。

    Mar, 2024

  • 互动伦理学：减轻 LLM 中的安全威胁

    通过探讨语言学习模型的安全威胁，本文全面研究了一系列涉及伦理道德的挑战，包括数据安全、隐私保护等问题，提出了一种定制的评估工具，用于加强语言学习模型的后端系统，并在测试阶段评估其伦理维度与社会伦理价值之间的一致性。

    Jan, 2024

  • LLM 用于 SoC 安全：范式转变

    通过整合大型语言模型（LLMs）到 SoC 安全验证范式中，我们在现有 SoC 安全方案的限制性能、全面性和适应性方面的差距中开辟了新的可能性和挑战，旨在实现更高效、可扩展和可适应的方法。

    Oct, 2023

  • 关于 LLMs 的隐含风险评估：关于鲁棒性，一致性和可信度的实证研究

    本研究使用自动化工作流程，对 ChatGPT、LLaMA 和 OPT 等主流 LLM 进行了数百万次查询，得出了 LLM 在稳健性、一致性和可信度方面存在的问题，提出了一种新的关联数据集索引来评估使用 LLM 进行学术评估的可行性。

    May, 2023

  • LLMs 在非法目的中的使用：威胁、预防措施和漏洞

    本文在探讨大语言模型的发展和分发迅速增长的背景下，关注其安全和安全相关威胁和漏洞的最新研究工作，并提供了已有的科学努力概述，以识别和缓解与大语言模型相关的威胁和漏洞。通过我们的工作，希望在资深开发人员和新颖技术用户中增强对大语言模型的局限性和安全问题的意识。

    Aug, 2023

  • 生成人工智能与大型语言模型在网络安全中的应用洞见

    通过生成式人工智能和大型语言模型（LLM），该论文对未来的网络安全进行了全面回顾，并探讨了 LLM 在硬件设计安全、入侵检测、软件工程、设计验证、网络威胁情报、恶意软件检测和钓鱼检测等各个领域的应用。论文提供了将 LLM 集成到未来网络安全框架中的基础理解和战略方向，强调创新和强大的模型部署以保护免受不断演变的网络威胁。

    May, 2024