May, 2023

用 Transformer 实现基于修改时间的代码漏洞检测：零样本、少样本或微调？

PDF
TL;DR本文采用机器学习和深度学习技术，提出了一种使用编辑时的不完整代码片段检测潜在代码漏洞的实用系统，通过 LLMs 等预训练模型的零样本、少样本和微调等方法，有效提高了潜在漏洞检测的准确性和效率。实验结果显示，相较于现有的漏洞检测模型，本文的方法可以提升 10% 左右的效果，并且在高风险代码场景下检测到的潜在漏洞可以减少达 90%。
software vulnerabilitiesmachine learningdeep learningvulnerable code patternsllms
发现论文，激发创造
  • 基于机器学习的自动化软件漏洞检测

    利用机器学习和深度神经网络，针对 C++ 程序开发了一种基于数据驱动的漏洞检测方法，研究结果表明结合源代码和神经网络特征，可以获得更可靠的漏洞检测结果，最高检测能力达到 0.87。

    Feb, 2018

  • 评估指令微调对软件漏洞检测的效果

    通过对最新的语言模型的能力进行评估，研究了该模型在其训练数据中所使用的编程语言之外的领域的普适性，并检查了自然语言指令在提高这种普适性中的作用。研究通过对真实数据集的模型性能进行评估，以预测代码的脆弱性，从而对于深度学习在软件脆弱性检测中的应用作出了重要贡献。

    Jan, 2024

  • 学习量化漏洞模式和匹配来定位语句级漏洞

    通过学习漏洞模式，提出一种基于漏洞匹配的新方法来检测软件漏洞，该方法在 188,000 个 C/C++ 函数的数据集上取得了 F1-score 94% 的高准确度。

    May, 2023

  • 零样本检测机器生成代码

    提出了一种对 LLMs 生成的代码进行训练无关的检测方法，以减少与它们的无差别使用相关的风险。通过对现有的基于训练或零样本的文本检测方法进行研究，我们发现这些方法对代码的检测不够有效，可能是由于代码结构中所具有的独特统计特性。本研究通过修改之前的零样本文本检测方法，利用代理的白盒模型来估计最右侧标记的概率，从而能够识别由语言模型生成的代码片段。通过对 CodeContest 和 APPS 数据集的 Python 代码进行大量实验，我们的方法在 text-davinci-003、GPT-3.5 和 GPT-4 模型上取得了最新的检测结果，并且对修订攻击具有鲁棒性，并且对 Java 代码具有很好的通用性。同时，我们还发现较小的代码语言模型 PolyCoder-160M 作为通用代码检测器的表现优于十亿级别的对应模型。代码可在此 https URL Xianjun-Yang/Code_detection.git 获取。

    Oct, 2023

  • 使用代码语言模型进行漏洞检测：我们离目标还有多远？

    在代码语言模型（Code LMs）和漏洞检测不断增长的兴趣下，我们研究了代码语言模型在漏洞检测方面的有效性。研究发现现有漏洞数据集存在重要不足，包括数据质量不高、标签准确性低和重复率高，导致模型在现实漏洞检测场景中的性能不可靠。为解决这些挑战，我们引入了 PrimeVul 数据集，用于训练和评估代码语言模型在漏洞检测方面的性能。通过对 PrimeVul 上的代码语言模型进行评估，发现现有基准明显高估了这些模型的性能。这些发现强调了当前能力和在安全角色中部署代码语言模型的实际需求之间存在的巨大差距，突出了在这一领域需要更多创新的研究。

    Mar, 2024

  • 为漏洞检测优化大型语言模型

    本论文研究了使用大型语言模型进行源代码漏洞检测的结果，通过微调最先进的语言模型 WizardCoder，并在训练过程中进行了加速，通过处理类别不平衡问题，优化训练过程和方法，并在困难的漏洞检测数据集上改善性能，展示了通过微调大型预训练语言模型进行源代码分析任务的迁移学习的潜力。

    Jan, 2024

  • 使用深度表示学习自动检测源代码中的漏洞

    这项研究利用 C/C++ 开源代码，使用机器学习开发了一个基于函数级别的漏洞检测系统，并使用三个定位潜在攻击的静态分析器精心筛选标注了数百万个开源函数的数据集。研究表明深度学习源代码的特征表示法是一种自动化软件漏洞检测的有前途的方法。

    Jul, 2018

  • 自动漏洞检测的机器学习极限

    本文研究了机器学习用于自动漏洞检测的泛化问题，并提出了一种可行的模型基准测试方法来帮助研究人员更好地评估漏洞检测机器学习的进展。研究表明，当前模型对于特定的训练数据扩增方式表现出了较好的鲁棒性。

    Jun, 2023

  • 通过多任务指令微调增强泛化的代码漏洞检测

    Code Pre-trained Models (CodePTMs) based vulnerability detection struggles to generalize as they typically learn superficial mapping from source code to labels, resulting in poor performance in real-world scenarios. To address this, VulLLM integrates multi-task learning with Large Language Models (LLMs) to effectively mine deep-seated vulnerability features, surpassing seven state-of-the-art models in terms of effectiveness, generalization, and robustness.

    Jun, 2024

  • 大型语言模型在漏洞检测方面的能力综合研究

    大型语言模型在漏洞检测方面的推理能力较差，常出现错误定位漏洞代码和错误识别漏洞类型的情况。

    Mar, 2024