利用大型语言模型进行网络安全夺旗挑战和认证问题
我们开发了一种创新方法来评估大型语言模型（LLMs）在解决网络安全中的夺旗挑战方面的能力，通过创建一个专门针对这些应用设计的可扩展的开源基准数据库。利用 LLMs 的高级函数调用能力，我们构建了一个完全自动化的系统，具有改进的工作流程和对外部工具调用的支持。通过提供专门的数据集，我们的项目为开发、测试和改进基于 LLMs 的漏洞检测和解决方法提供了理想的平台。通过在这些挑战上评估 LLMs 并与人类表现进行比较，我们可以洞察 AI 驱动的网络安全解决方案在现实世界威胁管理方面的潜力。
Jun, 2024
通过对多个 LLM 模型的研究，本文不仅提供了全面的概述，还明确了现有挑战，并指出了未来的研究方向。该综述提供了关于生成型人工智能的当前状态的全面观点，为进一步的探索、增强和创新提供了启示。
Mar, 2024
通过生成式人工智能和大型语言模型（LLM），该论文对未来的网络安全进行了全面回顾，并探讨了 LLM 在硬件设计安全、入侵检测、软件工程、设计验证、网络威胁情报、恶意软件检测和钓鱼检测等各个领域的应用。论文提供了将 LLM 集成到未来网络安全框架中的基础理解和战略方向，强调创新和强大的模型部署以保护免受不断演变的网络威胁。
May, 2024
本研究探讨了聊天机器人（如 ChatGPT、GPT4all、Dolly、Stanford Alpaca、Alpaca-LoRA 和 Falcon）在开源情报中识别与网络安全相关文本的能力，并评估了现有聊天机器人模型在自然语言处理任务中的能力，包括二元分类和命名实体识别。结果表明，聊天机器人在网络安全二元分类任务中表现良好，但在命名实体识别任务方面仍存在限制和不足。因此，明确了这些聊天机器人只在特定任务（如网络安全二元分类）中具有能力的同时，也强调了其他任务（如命名实体识别）需要进一步改进。
Jan, 2024
大型语言模型系统在安全方面面临重要风险，如恶意设计的消息试图覆盖系统的原始指令或泄露私人数据。为了研究这个问题，我们在 IEEE SaTML 2024 组织了一场夺旗赛，其中旗标是 LLM 系统提示中的机密字符串。该比赛分为两个阶段，第一阶段是团队开发防御措施以防止模型泄露机密信息，第二阶段是团队挑战提取其他团队提出的防御措施中隐藏的机密信息。本报告总结了比赛的主要见解，发现所有防御措施至少被绕过一次，凸显了设计成功防御措施的难度以及进一步研究保护 LLM 系统的必要性。为了促进未来在这个方向的研究，我们编制了一个包含超过 137k 个多轮次攻击对话的数据集，并开放源代码平台。
Jun, 2024