Apr, 2024

模糊测试与 LLMs 的结合：挑战与机遇

PDF
TL;DR通过对顶级会议上最新的论文进行回顾，我们确定了大型语言模型（LLMs）在模糊测试中面临的五个主要挑战，并提出了一些可行的建议来改进 LLM 在模糊测试中的应用，并进行了对数据库管理系统的模糊测试的初步评估，结果表明我们的建议有效地解决了所确定的挑战。
fuzzinglarge language modelsbug detectionchallengesllm-assisted fuzzing
发现论文，激发创造
  • 基于大型语言模型的模糊测试技术综述

    本文调查总结了截至 2024 年的最新方法，统计分析了三个领域（即 LLMs、模糊测试和基于 LLMs 的模糊测试），并探讨了将基于 LLMs 的模糊测试技术广泛应用于未来的潜力。

    Feb, 2024

  • 大型语言模型在漏洞检测方面的能力综合研究

    大型语言模型在漏洞检测方面的推理能力较差，常出现错误定位漏洞代码和错误识别漏洞类型的情况。

    Mar, 2024

  • 基于大型语言模型的通用模糊测试

    该研究介绍了 Fuzz4All，第一个在多种不同输入语言和不同语言特性中的通用模糊测试器，利用大型语言模型作为输入生成和变异引擎，以产生多样化和真实性的输入，对多种系统进行评估，发现了 76 个广泛使用的系统中的漏洞。

    Aug, 2023

  • 利用线性逻辑方法进行软件漏洞和功能评估

    通过研究使用大型语言模型（LLMs）在代码审查中的作用，其中包括检测安全漏洞和验证软件功能的有效性，本文发现大型专有模型在这些任务上的性能显著优于小型开源模型，并证明了 LLMs 能够生成与真实漏洞相关的详细描述。

    Mar, 2024

  • 多角色共识下的漏洞检测

    大语言模型可用于模拟软件开发生命周期中不同角色的讨论，提高漏洞检测的准确性、召回率和 F1 得分。

    Mar, 2024

  • LLM 能否修复安全问题？

    使用静态代码分析工具 Bandit 的反馈驱动解决方案综合（FDSS）对大型语言模型（LLMs）进行改进，通过与 LLMs 交互生成潜在解决方案来修复安全漏洞，该方法在基准测试中显著改善并超过现有方法，并引入了新的 PythonSecurityEval 数据集进行评估。

    Nov, 2023

  • 使用大型语言模型进行漏洞检测的现状

    通过实验发现，一些 LLM 在漏洞检测方面超越传统深度学习方法，揭示了 LLM 在加强软件安全方面的潜力。

    Nov, 2023

  • LLMs 作为事实推理器：现有基准和未来展望的洞见

    通过提出新的数据集 SummEdits 来解决现有基准测试中存在的缺点，该数据集比以前的数据集更高效且高度可重复。然而，大多数 LL 模型在 SummEdits 上表现不佳，最好的 GPT-4 模型仍然比人类的表现差 8％，这凸显了 LL 模型在推理和检测事实不一致方面的能力差距。

    May, 2023

  • LLMs 在非法目的中的使用：威胁、预防措施和漏洞

    本文在探讨大语言模型的发展和分发迅速增长的背景下，关注其安全和安全相关威胁和漏洞的最新研究工作，并提供了已有的科学努力概述，以识别和缓解与大语言模型相关的威胁和漏洞。通过我们的工作，希望在资深开发人员和新颖技术用户中增强对大语言模型的局限性和安全问题的意识。

    Aug, 2023

  • 大型语言模型在提高数字取证调查效率方面的潜力探究

    将大型语言模型（LLMs）整合到数字取证调查中，有望提高调查效率，改善可追溯性，减轻执法机构面临的技术和司法障碍。

    Feb, 2024