LLM 用于 SoC 安全：范式转变

Oct, 2023

LLM for SoC Security: A Paradigm Shift

Dipayan Saha, Shams Tarek, Katayoon Yahyaei, Sujan Kumar Saha, Jingbo Zhou...

TL;DR通过整合大型语言模型（LLMs）到 SoC 安全验证范式中，我们在现有 SoC 安全方案的限制性能、全面性和适应性方面的差距中开辟了新的可能性和挑战，旨在实现更高效、可扩展和可适应的方法。

Abstract

As the ubiquity and complexity of system-on-chip (SoC) designs increase across electronic devices, the task of incorporating security into an SoC design flow poses significant challenges. Existing →

system-on-chip security verification generative pre-trained transformers soc security verification

发现论文，激发创造

基于 LLM 的实际系统中的安全问题探索：LLM 安全的新时代

在本文中，我们系统地分析了 LLM 系统的安全性，通过建立信息流及其在 LLM 内部和 LLM 与其他对象之间的一致性约束，将 LLM 系统的攻击面分解为三个关键部分：多层安全分析，约束存在性分析和这些约束的鲁棒性分析。通过对最新的 LLM 系统 OpenAI GPT4 的多层和多步骤分析，我们发现了不仅仅存在于 LLM 模型本身，还包括与其他组件整合的安全问题。我们发现尽管 OpenAI GPT4 已经设计了多重安全约束来提高其安全性，但这些安全约束仍然容易受到攻击。为了进一步展示我们发现的漏洞的现实威胁，我们构建了一个端到端攻击，黑客可以非法获取用户的聊天历史，而无需操纵用户的输入或直接访问 OpenAI GPT4。

Feb, 2024

LLMs 与芯片设计的未来：揭示安全风险与建立信任

芯片设计即将通过大语言、多模态和电路模型（统称 LxM）的整合而实现革命。在探索这一潜力巨大的令人激动的领域时，社区还必须认真考虑相关的安全风险，并需要建立对使用 LxM 进行芯片设计的信任。首先，我们回顾了普遍使用 LxM 进行芯片设计的最新潮流。我们涵盖了自动化硬件描述语言代码生成、脚本编写和对电子设计自动化工具的重要但繁琐任务的指引，例如设计空间探索、调试或设计师培训。其次，我们提出并初步回答了关于 LxM 驱动芯片设计的关键问题，涉及攻击和防御的安全和可信度方面。

May, 2024

网络安全中的大型语言模型：最新技术

通过评估对进攻和防御应用的研究，本研究旨在提供对 LLM 驱动的网络安全领域中潜在风险和机遇的整体理解。

Jan, 2024

用于网络安全的大型语言模型：系统文献综述

大型语言模型在网络安全领域的应用综述，包括漏洞检测、恶意软件分析、数据隐私等问题，指出了数据集大小与多样性的重要性以及未来研究方向。

May, 2024

生成人工智能与大型语言模型在网络安全中的应用洞见

通过生成式人工智能和大型语言模型（LLM），该论文对未来的网络安全进行了全面回顾，并探讨了 LLM 在硬件设计安全、入侵检测、软件工程、设计验证、网络威胁情报、恶意软件检测和钓鱼检测等各个领域的应用。论文提供了将 LLM 集成到未来网络安全框架中的基础理解和战略方向，强调创新和强大的模型部署以保护免受不断演变的网络威胁。

May, 2024

大型语言模型（LLM）安全与隐私调查：优点、缺点和不好的一面

这篇论文探讨了大型语言模型与安全和隐私的交叉领域，研究了它们对安全和隐私的积极影响、潜在的风险和威胁，以及模型本身的固有漏洞。通过全面的文献综述，将研究结果分为 “有益” 的应用、恶意应用和漏洞及其防御措施。论文还指出了需要进一步研究的领域，并希望通过该研究揭示大型语言模型在加强和危及网络安全方面的潜力。

Dec, 2023

大型语言模型在网络安全中的调查

大型语言模型在网络安全领域的应用、使用方式、局限性以及如何克服这些局限性和期望中的成果进行了调查。

Feb, 2024

偶尔安全性：代码生成助理的比较分析

大型语言模型 (Large Language Models，LLMs) 被广泛应用于各种应用中，代码生成作为一个显著例子。本文聚焦于确定和理解在真实场景中，LLMs 可有效且安全地用于生成高质量代码的条件和环境。通过对四个先进的 LLMs (GPT-3.5 和 GPT-4，ChatGPT，Bard 和 Gemini) 进行比较分析，使用 9 个不同任务评估每个模型的代码生成能力。我们将研究情境化，以代表日常工作中开发人员使用 LLMs 执行常见任务的典型用例。此外，我们强调安全意识，通过使用我们的开发者角色的两个不同版本来表示。总共我们收集了 61 个代码输出并分析了其功能性、安全性、性能、复杂性和可靠性等方面。这些洞见对于理解模型的能力和限制非常重要，并指导未来在自动化代码生成领域的开发和实际应用。

Feb, 2024

运用大型语言模型革新网络威胁检测

本文介绍了 SecurityLLM，它是一个旨在检测网络安全威胁的预训练语言模型，其中 SecurityBERT 作为网络威胁检测机制，而 FalconLLM 则是一种事件响应和恢复系统，实验结果表明，我们的 SecurityLLM 模型可以在 98% 的准确率下识别 14 种不同类型的攻击。

Jun, 2023

利用 LLM 辅助生成硬件断言

本研究探讨了使用自然语言提示生成 SystemVerilog 声明（用于硬件安全），研究了一种流行的大型语言模型的能力，并设计了一个评估框架来生成各种提示并创建基准套件，该套件由真实硬件设计和相应的黄金参考声明组成。

Jun, 2023