Jun, 2024

在 LLM 时代的社交工程攻击防御

PDF
TL;DR本研究探讨了大型语言模型（LLMs）作为聊天式社交工程（CSE）攻击的助手和防御者所面临的挑战，开发了一个模拟学术和招聘场景的数据集 SEConvo，揭示了 LLMs 在这些情境中的利用和检测能力，设计了 ConvoSentinel 以提高检测效果，强化 CSE 攻击的辨识能力，凸显了在网络安全领域中利用 LLMs 的需求。
large language modelsdigital deceptionchat-based social engineering attacksconvosentinelcybersecurity
发现论文，激发创造
  • LLM 会话安全的攻击、防御和评估：一项调研

    现在普遍存在大型语言模型在对话应用中的应用。然而，它们被滥用来生成有害回复的风险引起了严重的社会关注，并引发了关于大型语言模型对话安全的最新研究。因此，在这项调查中，我们提供了最近研究的综述，涵盖了大型语言模型对话安全的三个关键方面：攻击、防御和评估。我们的目标是提供一个结构化的概述，以增进对大型语言模型对话安全的理解，并鼓励对这个重要主题进行进一步的研究。为了方便参考，我们根据我们的分类法对本调查中提到的所有研究进行了分类。分类信息可在此 https URL 查看。

    Feb, 2024

  • 利用大型语言模型有效扩展鱼叉式网络钓鱼攻击

    通过对大规模语言模型在网络钓鱼领域的应用研究，发现现有的大规模语言模型对于网络罪犯在网络钓鱼攻击中的情报收集和信息生成阶段提高了效率，在此基础上，通过 600 个英国议员的案例研究发现应用于网络钓鱼的语言模型不仅效果逼真，且花费非常低；在此基础上，提出了两种解决方案，即应用程序接口等结构化访问方案和基于大规模语言模型的防御系统，强调了治理干预的必要性。

    May, 2023

  • 网络安全中的大型语言模型：最新技术

    通过评估对进攻和防御应用的研究，本研究旨在提供对 LLM 驱动的网络安全领域中潜在风险和机遇的整体理解。

    Jan, 2024

  • 大型语言模型哨兵：通过 LLM 代理推进对抗鲁棒性

    我们引入了一种名为 LLAMOS 的新型防御技术，通过净化输入到目标大型语言模型之前的对抗文本示例，以增强大型语言模型的对抗鲁棒性。我们的方法包括两个主要组成部分：a) 代理指示，可以模拟新的代理进行对抗防御，通过最小限度地更改字符来保持句子的原始含义，并防御攻击；b) 防御指导，提供修改干净或对抗性示例以确保有效防御和目标大型语言模型准确输出的策略。通过在开源和闭源大型语言模型上进行广泛实验，我们的方法可以有效抵御对抗性攻击，从而提高对抗鲁棒性。

    May, 2024

  • LLM 自卫：通过自我检验，LLM 知道自己被欺骗

    通过使用语言模型验证内容，我们提出了一种简单的方法来防御对抗性攻击，从而使大型语言模型过滤其自己的回应，即使模型未经人类价值重新调整，也可以避免为用户呈现有害内容。

    Aug, 2023

  • 用于网络安全的大型语言模型：系统文献综述

    大型语言模型在网络安全领域的应用综述，包括漏洞检测、恶意软件分析、数据隐私等问题，指出了数据集大小与多样性的重要性以及未来研究方向。

    May, 2024

  • LLMs 生成内容检测调查

    综述了大规模语言模型（LLMs）生成内容检测的现有策略和基准，并指出该领域的关键挑战和前景，提倡采用更加适应性和稳健的模型来提高检测准确性，以及应对 LLMs 能力快速发展的多方面防御方法的必要性。该工作是在 LLMs 时代首部全面综述内容检测的研究，旨在为研究人员和从业者提供广泛了解 LLMs 生成内容检测的当前情况的指导参考，以保护数字信息的完整性。

    Oct, 2023

  • LLMs 杀死了脚本小子：大语言模型支持的代理如何改变网络威胁测试的现状

    本研究探索了大型语言模型在威胁推理、工具信息生成和自动化网络攻击方面的潜力，讨论了 LLM 在支持特定威胁相关行动和决策方面的手动与自动化探索，以及对威胁网络潜在影响和使用 LLM 加速威胁行为能力的伦理考量，对诱导可操作反应的提示设计进行了评估和启发，并提出了探索 LLM 在更复杂网络、高级漏洞和提示敏感性方面的未解问题。

    Oct, 2023

  • 运用大型语言模型革新网络威胁检测

    本文介绍了 SecurityLLM，它是一个旨在检测网络安全威胁的预训练语言模型，其中 SecurityBERT 作为网络威胁检测机制，而 FalconLLM 则是一种事件响应和恢复系统，实验结果表明，我们的 SecurityLLM 模型可以在 98% 的准确率下识别 14 种不同类型的攻击。

    Jun, 2023

  • 大型语言模型在网络安全中的调查

    大型语言模型在网络安全领域的应用、使用方式、局限性以及如何克服这些局限性和期望中的成果进行了调查。

    Feb, 2024