Mar, 2024

比较 ChatGPT 生成代码和 StackOverflow 答案的安全漏洞

PDF
TL;DR将 ChatGPT 生成的代码与 StackOverflow 的代码进行比较，发现 ChatGPT 生成的代码存在较少的漏洞和较少的常见弱点枚举类型，结果表明开发人员对于两个平台的代码传播存在不安全的认识，需要采取良好的软件工程实践来降低风险。
generative artificial intelligencelarge language modelssecurity implicationscode snippetsvulnerabilities
发现论文，激发创造
  • 大型语言模型中 Java 安全 API 的滥用调查

    在这篇论文中，我们系统评估了 ChatGPT 在 Java 的安全 API 使用情景中，生成代码的可信性。我们编制了 48 个编程任务的广泛集合，包含 5 个广泛使用的安全 API。通过自动和手动方法检测 ChatGPT 生成的代码中的安全 API 误用，我们的发现是令人担忧的：30 次尝试中，大约 70% 的代码实例存在安全 API 误用，识别出了 20 种不同的误用类型。此外，对于大约一半的任务，这一比例达到了 100%，这表明在开发人员可以依赖 ChatGPT 安全实现安全 API 代码之前还有很长的路要走。

    Apr, 2024

  • 将 ChatGPT 用作静态应用程序安全测试工具

    使用 ChatGPT 进行 Python 源代码的漏洞检测的可行性研究，结果表明 ChatGPT 可以降低误报和漏报率，并具有潜力用于 Python 源代码的漏洞检测。

    Aug, 2023

  • ChatGPT 如何解决弱点管理问题

    本文探索了 ChatGPT 在涉及完整漏洞管理过程的六项任务中的能力，并使用包含 78,445 个样本的大规模数据集对其进行了比较。结果表明 ChatGPT 在辅助漏洞管理方面具有巨大的潜力，但同时也揭示了它所遇到的困难，并为未来的研究方向提供了启示。

    Nov, 2023

  • 探索 ChatGPT 在软件安全应用中的极限

    研究论文对大型语言模型（LLMs）在系统安全领域中的影响和局限性进行了探讨，发现 ChatGPT 不仅在生成代码方面有出色的能力，还在理解用户提供的自然语言指令、推理程序的控制和数据流、生成复杂数据结构以及反汇编汇编代码等方面展示了强大的能力。研究表明，GPT-4 在大多数安全任务中相较于 GPT-3.5 有显著改进，同时也确定了 ChatGPT 在安全相关任务中的某些限制，例如处理长代码上下文的能力受限。

    Dec, 2023

  • ChatGPT 代码检测：揭示代码来源的技术

    研究论文通过使用先进的分类技术来区分由人写的代码和由 ChatGPT 生成的代码，探讨了大型语言模型在代码生成中的影响，特别是在高等教育领域的潜在风险和对策。

    May, 2024

  • 探索 ChatGPT 的安全风险：超越安全措施

    本文旨在提供有关 ChatGPT 的安全风险的概述，包括恶意文本和代码生成、私人数据披露、诈骗服务、信息收集和生成不道德内容等。我们进行了一项实证研究，检验了 ChatGPT 内容过滤器的有效性，并探讨了绕过这些保护措施的潜在方式，展示了即使当有保护措施时，LLMs 仍存在的伦理和安全风险。基于对安全风险的定性分析，我们讨论了应对这些风险的潜在策略，并向研究人员、决策者和行业专业人员提供有关像 ChatGPT 这样的 LLMs 所面临的复杂安全挑战的信息。本研究对 LLMs 的伦理和安全影响的持续讨论做出了贡献，强调了在此领域需要继续进行研究的必要性。

    May, 2023

  • 评估来自 Stack Overflow 的隐私问题: ChatGPT 能否胜任？

    该论文通过对 Stack Overflow 上的隐私问题类型进行评估，并对 ChatGPT 生成的代码进行比较分析，旨在理解开发人员在寻求软件开发和隐私相关问题的答案时所面临的隐私挑战。研究结果表明，大多数隐私相关的问题涉及选择 / 同意，聚合和识别等问题。对于这些提取的问题，ChatGPT 生成的响应大约正确的数量为 56％，而 Stack Overflow 的响应答案略微准确。

    Jun, 2023

  • 评估 ChatGPT 在自动代码生成中的优势和局限性

    ChatGPT 是一种显著的大型语言模型，通过与人类程序员进行比较，本文提出了对其代码生成能力的综合评估。通过构建一个包含 5 个类别的新颖数据集，共计 131 个代码生成提示，ChatGPT 和人类程序员生成了 262 个代码样例。使用 14 个已建立的代码质量度量方法进行详细的手动评估，重点评估了正确性、可理解性和安全性。关键发现揭示了 ChatGPT 在制作简洁高效、具有高级结构的代码方面的优势，并展示了在数据分析任务（93.1% 准确度）中的强项，但在视觉图形方面存在局限性。与人类代码的比较分析凸显了 ChatGPT 对模块化设计和优秀的错误处理的倾向。此外，机器学习模型可以有效地区分 ChatGPT 和人类代码，准确率高达 88%，表明可以检测到的编码风格差异。通过量化指标和定性分析深入探讨了 ChatGPT 的代码生成能力和局限性，为推进基于人工智能的编程助手提供了宝贵的见解。精心策划的数据集和方法为这个新兴领域的未来研究提供了坚实的基础。所有数据和代码都可在此 https URL 上找到。

    Nov, 2023

  • ChatGPT 用于软件安全：探索 ChatGPT 在安全应用中的优势和限制

    ChatGPT 对安全导向的程序分析的能力进行了研究，从攻击者和安全分析师的角度出发，通过引入挑战性任务评估 ChatGPT 的回答质量，以更清楚地了解其在安全导向的程序分析领域的优势和限制。

    Jul, 2023

  • 谁回答得更好？ChatGPT 和 Stack Overflow 回答软件工程问题的深度分析

    通过对 517 个 Stack Overflow 问题的 ChatGPT 答案的细致分析，以及大规模的语言学分析和用户研究，我们发现 ChatGPT 答案中 52% 的答案是错误的，77% 的答案冗长。尽管如此，由于其全面性和清晰的语言风格，ChatGPT 答案仍然有 39.34% 的受欢迎程度。

    Aug, 2023