XGV-BERT：基于上下文化语言模型和图神经网络的高效软件漏洞检测

Sep, 2023

XGV-BERT：基于上下文化语言模型和图神经网络的高效软件漏洞检测

XGV-BERT: Leveraging Contextualized Language Model and Graph Neural Network for Efficient Software Vulnerability Detection

PDF

Vu Le Anh Quan, Chau Thuan Phat, Kiet Van Nguyen, Phan The Duy, Van-Hau Pham

TL;DR我们提出了一种名为 XGV-BERT 的框架，结合预训练的 CodeBERT 模型和图神经网络（GCN）来检测软件漏洞，通过联合训练 CodeBERT 和 GCN 模块，该模型利用大规模预训练、通过图卷积学习训练数据的表示，其研究结果表明与 VulDeePecker 和 SySeVR 等现有方法相比，XGV-BERT 方法显著提高了漏洞检测的准确性。

Abstract

With the advancement of deep learning (DL) in various fields, there are many attempts to reveal software vulnerabilities by data-driven approach<

deep learning data-driven approach software vulnerabilities xgv-bert vulnerability detection

发现论文，激发创造

具有语义漏洞图的无偏 Transformer 源代码学习

提出了一种结合 RoBERTa 模型和 GCN 模型的关于代码漏洞检测的多任务分类器，该模型采用了一个语义性漏洞图来降低偏差，并通过结合 Focal Loss 目标函数降低数据集不平衡的影响。在多个数据集的测试中，该模型表现优异，能够在最好的情况下提高 2.41% 和 18.75% 的检测效果，并且在针对知名 Github 代码库的 N-day 程序样本的测试中表现出 93% 的准确率，能够检测出 4 种零日漏洞。

Apr, 2023

VGCN-BERT: 使用图嵌入增强 BERT 进行文本分类

本文提出了 VGCN-BERT 模型，结合 BERT 和 Vocabulary Graph Convolutional Networks (VGCN) 的能力进行文本分类，实验证明其在多个文本分类数据集上性能优于单独使用 BERT 和 GCN，并且比以前的研究效果更好。

Apr, 2020

ViCGCN：用上下文化语言模型的图卷积网络在越南社交媒体挖掘中的应用

社交媒体处理是自然语言处理中的基本任务之一，该研究论文提出了一种利用上下文化语言模型和图卷积网络的创新方法 ViCGCN，以解决越南社交媒体中的数据不平衡和噪声问题，并通过在多个越南基准数据集上的实验证明了其优越性。

Sep, 2023

双向 Transformer vs. word2vec：发现提升编译代码中的漏洞

利用自然语言处理（NLP）中的 word2vec、BERT 和 RoBERTa 等嵌入技术，通过学习中间表示（LLVM）代码的语义，利用长短期记忆（LSTM）神经网络对 Juliet 数据集中近 118k 个 LLVM 函数的嵌入进行训练，进而检测编译二进制文件中的漏洞。研究结果显示，与复杂的上下文 NLP 嵌入相比，word2vec 连续词袋（CBOW）模型在检测漏洞方面取得了 92.3% 的验证准确率，表明当用来训练双向变压器模型的数据样本数量有限（例如 118K）时，简单的 word2vec 模型在这个任务中可能更有优势。这些比较结果为选择用于学习编译器独立语义代码表示的最佳嵌入提供了新的见解，推动了编译二进制文件中漏洞的机器学习检测的发展。

May, 2024

使用图神经网络进行语句级漏洞检测 (LineVD)

本研究提出了一种新的深度学习框架 LineVD，通过图神经网络和基于 Transformer 的模型识别程序的特定代码行，取得了 105％的 F1 得分提高，扩展了现有方法在软件漏洞检测方面的应用。

Mar, 2022

VulBERTa：面向漏洞检测的简化源代码预训练

本文提出 VulBERTa，一个基于深度学习的方法，用于检测源代码中的安全漏洞。该方法使用真实的开源 C / C ++ 项目进行预训练，可以学习代码语法和语义的深层知识表示，并通过该表示来训练漏洞检测分类器。实验表明 VulBERTa 在多个数据集和基准测试中均取得了最先进的性能，并在不同数据集上优于现有方法。

May, 2022

使用多任务自我教导的大型语言模型的安全漏洞检测

通过将程序控制流图编码为图神经网络的多任务序列到序列 LLM 技术，结合多任务自我指导微调的自我说明和 LLM 自我指导，MSIVD 在漏洞检测方面取得了卓越的性能，达到了 0.92 的 F1 得分（BigVul 数据集）和 0.48 的 F1 得分（PreciseBugs 数据集）。

Jun, 2024

基于 Transformer 的语言模型用于软件漏洞检测

本研究探讨了如何利用基于 transformer 的语言模型来检测软件漏洞，研究了在处理具有多个漏洞的 C/C++ 源代码时，这些模型的性能如何，并发现与当时的双向 LSTM 和双向 GRU 等其他模型相比，这些语言模型在漏洞检测方面具有更好的性能指标。此外，该论文还分析了流行的平台来有效地进行微调，并在选择平台时提供了建议。

Apr, 2022

Vignat：通过图注意力网络学习代码语义进行漏洞识别

我们提出了一种基于关注机制的新框架 Vignat，用于通过学习代码的语义表示来识别漏洞，结果表明 Vignat 能够在可靠的数据集上实现 57.38% 的准确率，并且图注意力网络提供有价值的漏洞模式洞察。

Oct, 2023

利用源代码的分布式表示进行 C 安全漏洞检测

本文评估了代码表示模型 Code2vec 在 C 源代码中检测安全漏洞任务上的表现，结果表明 Code2vec 在此任务上的表现与预训练 RoBERTa 等简单的基于 Transformer 的方法相比具有可比性，并且优于更为简单的基于 NLP 的方法，并在维持低计算需求的同时达到了 61.43％的准确率。

Jun, 2021