基于推理链的 ChatGPT 智能合约审计能力评估
利用 GPT 与静态分析结合的智能合约逻辑漏洞检测工具 GPTScan,具有高准确度和低误报率,快速且经济高效。
Aug, 2023
基于大型语言模型,本文提出了一种名为 AuditGPT 的工具,用于自动全面地验证智能合约是否符合 ERC 规则,通过对四个流行 ERC 中的 222 个规则进行实证研究,设计了适用于每种 ERC 规则类型的优化提示,评估结果显示 AuditGPT 在效果、准确性和成本方面超越了专家提供的审计服务,从而展示了其在智能合约审计方面的先进性。
Apr, 2024
本文探索了 ChatGPT 在涉及完整漏洞管理过程的六项任务中的能力,并使用包含 78,445 个样本的大规模数据集对其进行了比较。结果表明 ChatGPT 在辅助漏洞管理方面具有巨大的潜力,但同时也揭示了它所遇到的困难,并为未来的研究方向提供了启示。
Nov, 2023
通过我们进行的持续研究,本文对利用 LLMs 挖掘智能合约中的漏洞的机遇、挑战和潜在解决方案进行了系统分析。我们提出了一种对抗性框架 GPTLens,通过将传统的一阶段检测分为两个协同的阶段 —— 生成和判别,以实现渐进检测和微调。GPTLens 是直观的、策略性的,完全依靠 LLM 驱动,展示了其方法的普遍性和发现广泛漏洞的潜力。
Oct, 2023
通过评估 OpenAI 的 GPT-4 等大型语言模型与传统的静态代码分析器(如 Snyk 和 Fortify)在检测软件漏洞方面的能力,我们发现 GPT-4 能够识别出大约四倍于其他模型的漏洞,并提供可行的修复方案,同时显示出较低的误报率。未来研究应当探索系统级漏洞,并整合多个静态代码分析器,以获得对大型语言模型潜力的全面视角。
Aug, 2023
对 ChatGPT 在软件工程中的应用进行了研究,发现 ChatGPT 在代码的语法理解方面具有较高的能力,但在代码的语义理解方面,特别是动态语义方面存在困难,容易产生虚假输出。这表明在软件工程中使用 ChatGPT 时需要进一步探索验证其输出正确性的方法,以确保其可靠性。
May, 2023
研究论文对大型语言模型(LLMs)在系统安全领域中的影响和局限性进行了探讨,发现 ChatGPT 不仅在生成代码方面有出色的能力,还在理解用户提供的自然语言指令、推理程序的控制和数据流、生成复杂数据结构以及反汇编汇编代码等方面展示了强大的能力。研究表明,GPT-4 在大多数安全任务中相较于 GPT-3.5 有显著改进,同时也确定了 ChatGPT 在安全相关任务中的某些限制,例如处理长代码上下文的能力受限。
Dec, 2023
这篇论文评估了 ChatGPT(GPT-3.5、GPT-4)对数字取证领域的影响和潜在影响,重点关注最新的预训练 LLM GPT-4,通过一系列实验评估了它在包括文物理解、证据搜索、代码生成、异常检测、事件响应和教育等多个数字取证应用场景中的能力,并总结了它的优势和风险。综合而言,尽管 ChatGPT 在数字取证领域存在一些潜在的低风险应用,但很多应用目前不适用,因为需要将证据上传至服务端,或者需要对所询问的话题具有足够的知识以识别错误的假设、不准确性和错误。然而,对于合适的知识用户而言,在某些情况下,它可以作为一个有用的辅助工具。
Jul, 2023
ChatGPT 对安全导向的程序分析的能力进行了研究,从攻击者和安全分析师的角度出发,通过引入挑战性任务评估 ChatGPT 的回答质量,以更清楚地了解其在安全导向的程序分析领域的优势和限制。
Jul, 2023
本技术报告评估了 ChatGPT 和 GPT-3 模型在代码漏洞检测任务上的性能。通过使用 CWE 漏洞的二进制和多标签分类任务对真实世界数据集进行评估,结果表明 ChatGPT 在代码漏洞检测的二进制和多标签分类任务中表现不如一个虚拟分类器。
Apr, 2023