May, 2024

安全性：为网络安全咨询评估生成式大型语言模型

PDF
TL;DR大型语言模型（LLMs）在网络安全应用中显示出潜力，但也因幻觉和缺乏真实性等问题导致信心下降。现有的基准测试提供了一般评估，但不能充分解决 LLMs 在网络安全特定任务中的实际应用方面的问题。为了填补这个空白，我们引入了 SECURE（安全提取、理解与推理评估）基准测试，该基准测试旨在评估 LLMs 在现实网络安全场景中的性能。SECURE 包括六个数据集，重点关注工业控制系统领域，以评估基于行业标准来源的知识提取、理解和推理。我们的研究评估了七种最先进的模型在这些任务上的表现，为改进 LLMs 作为网络咨询工具的可靠性提供了见解和建议。
large language modelscybersecuritysecure benchmarkindustrial control systemknowledge extraction
发现论文，激发创造
  • 网络统计：用于评估大型语言模型在网络安全领域的基准数据集

    介绍了 CyberMetric，这是一个包含 10,000 个问题的基准数据集，通过合作过程结合人类专家知识和大型语言模型（LLMs）来创建问题，主要目标是在网络安全领域中促进人类和不同 LLMs 之间的公平比较，结果显示 LLMs 在几乎所有网络安全方面表现优于人类。

    Feb, 2024

  • 紫色羊驼网络安全评估：面向语言模型的安全编码基准

    CyberSecEval 是一个全面的基准测试，用于增强作为编程助手的大型语言模型（LLMs）的网络安全。通过对七个模型进行案例研究，CyberSecEval 成功地确定了关键的网络安全风险，并提供了改进这些模型的实用见解，强调了在开发复杂 LLMs 时整合安全考虑的重要性。

    Dec, 2023

  • 用于网络安全的大型语言模型：系统文献综述

    大型语言模型在网络安全领域的应用综述，包括漏洞检测、恶意软件分析、数据隐私等问题，指出了数据集大小与多样性的重要性以及未来研究方向。

    May, 2024

  • 网络安全中的大型语言模型：最新技术

    通过评估对进攻和防御应用的研究，本研究旨在提供对 LLM 驱动的网络安全领域中潜在风险和机遇的整体理解。

    Jan, 2024

  • 大型语言模型在网络安全中的调查

    大型语言模型在网络安全领域的应用、使用方式、局限性以及如何克服这些局限性和期望中的成果进行了调查。

    Feb, 2024

  • 使用 SALLMS 评估 LLM 生成代码的安全性

    作者描述了一个名为 SALLM 的框架，用于系统地评估大型语言模型生成安全代码的能力，该框架包括一个安全中心的 Python 提示的新数据集，一个用于测试生成代码的评估环境，以及用于从安全代码生成的角度评估模型性能的新度量标准。

    Nov, 2023

  • 生成人工智能与大型语言模型在网络安全中的应用洞见

    通过生成式人工智能和大型语言模型（LLM），该论文对未来的网络安全进行了全面回顾，并探讨了 LLM 在硬件设计安全、入侵检测、软件工程、设计验证、网络威胁情报、恶意软件检测和钓鱼检测等各个领域的应用。论文提供了将 LLM 集成到未来网络安全框架中的基础理解和战略方向，强调创新和强大的模型部署以保护免受不断演变的网络威胁。

    May, 2024

  • 生成人工智能时代下的大型语言模型评估标准的不足

    通过以人、过程和技术为视角，功能性和安全性为支柱，使用我们的统一评估框架，对 23 个最先进的 LLM 基准进行了研究，发现了显著的限制，并强调了在人工智能进步的背景下，标准化方法、监管确定性和伦理指南的迫切需求，以及通过协作努力发展被广泛接受的基准和增强人工智能系统融入社会的重要性。

    Feb, 2024

  • CyberSecEval 2: 大型语言模型的广泛网络安全评估套件

    大型语言模型引入新的安全风险，但缺乏综合评估套件来衡量和减少这些风险。我们提出了 BenchmarkName，这是一个用于量化 LLM 安全风险和能力的新型基准。我们介绍了两个新领域的测试：提示注入和代码解释器滥用。我们评估了多种最先进的 LLMs，包括 GPT-4、Mistral、Meta Llama 3 70B-Instruct 和 Code Llama。我们的结果表明，消除攻击风险的条件仍然是一个尚未解决的问题；例如，所有测试模型在成功的提示注入测试中显示出 26% 到 41% 之间的结果。我们进一步引入了安全效用权衡：将 LLM 条件化以拒绝不安全的提示可能导致 LLM 错误地拒绝回答良性提示，从而降低效用。我们建议使用 False Refusal Rate（FRR）来量化这种权衡。作为示例，我们引入了一个新的测试集来量化网络攻击有用性风险的 FRR。我们发现，许多 LLMs 能够与 “边界线” 良性请求成功地相符，同时拒绝大部分不安全的请求。最后，我们量化了 LLMs 在自动化核心网络安全任务（例如利用软件漏洞）方面的效用。这很重要，因为 LLMs 的进攻能力引起了极大的兴趣；我们通过为四个典型问题创建新的测试集来量化这一点。我们发现具有编码能力的模型优于无编码能力的模型，但 LLMs 在利用生成方面还需要进一步的工作。我们的代码是开源的，可以用于评估其他 LLMs。

    Apr, 2024

  • MetaAID 2.5：基于大型语言模型的开发元宇宙应用的安全框架

    通过模拟用户与大型语言模型的交互，提出了一种增强网络安全的方法，包括全面的元宇宙网络安全问答和攻击模拟场景，以帮助用户认识和抵御风险，并通过扩展训练来理解个性化输入和表情符号等用户内容，验证了该方法的有效性。

    Dec, 2023