使用 ChatGPT 进行 Python 源代码的漏洞检测的可行性研究，结果表明 ChatGPT 可以降低误报和漏报率，并具有潜力用于 Python 源代码的漏洞检测。

Aug, 2023

ChatGPT 对安全导向的程序分析的能力进行了研究，从攻击者和安全分析师的角度出发，通过引入挑战性任务评估 ChatGPT 的回答质量，以更清楚地了解其在安全导向的程序分析领域的优势和限制。

Jul, 2023

对 ChatGPT 在软件工程中的应用进行了研究，发现 ChatGPT 在代码的语法理解方面具有较高的能力，但在代码的语义理解方面，特别是动态语义方面存在困难，容易产生虚假输出。这表明在软件工程中使用 ChatGPT 时需要进一步探索验证其输出正确性的方法，以确保其可靠性。

May, 2023

本技术报告评估了 ChatGPT 和 GPT-3 模型在代码漏洞检测任务上的性能。通过使用 CWE 漏洞的二进制和多标签分类任务对真实世界数据集进行评估，结果表明 ChatGPT 在代码漏洞检测的二进制和多标签分类任务中表现不如一个虚拟分类器。

Apr, 2023

ChatGPT 是一种显著的大型语言模型，通过与人类程序员进行比较，本文提出了对其代码生成能力的综合评估。通过构建一个包含 5 个类别的新颖数据集，共计 131 个代码生成提示，ChatGPT 和人类程序员生成了 262 个代码样例。使用 14 个已建立的代码质量度量方法进行详细的手动评估，重点评估了正确性、可理解性和安全性。关键发现揭示了 ChatGPT 在制作简洁高效、具有高级结构的代码方面的优势，并展示了在数据分析任务（93.1% 准确度）中的强项，但在视觉图形方面存在局限性。与人类代码的比较分析凸显了 ChatGPT 对模块化设计和优秀的错误处理的倾向。此外，机器学习模型可以有效地区分 ChatGPT 和人类代码，准确率高达 88%，表明可以检测到的编码风格差异。通过量化指标和定性分析深入探讨了 ChatGPT 的代码生成能力和局限性，为推进基于人工智能的编程助手提供了宝贵的见解。精心策划的数据集和方法为这个新兴领域的未来研究提供了坚实的基础。所有数据和代码都可在此 https URL 上找到。

Nov, 2023

研究论文对大型语言模型（LLMs）在系统安全领域中的影响和局限性进行了探讨，发现 ChatGPT 不仅在生成代码方面有出色的能力，还在理解用户提供的自然语言指令、推理程序的控制和数据流、生成复杂数据结构以及反汇编汇编代码等方面展示了强大的能力。研究表明，GPT-4 在大多数安全任务中相较于 GPT-3.5 有显著改进，同时也确定了 ChatGPT 在安全相关任务中的某些限制，例如处理长代码上下文的能力受限。

Dec, 2023

我们通过实证分析了 ChatGPT 在无人辅助编程助手方面的潜力，并强调了其相对程序生成、程序修复、代码摘要方面的表现，并对其在常见编程问题上的表现进行了评估，这证明 ChatGPT 有效地处理典型的编程挑战，但我们也发现，综合的描述可能会限制 ChatGPT 的关注点并阻碍其利用其广泛的知识进行问题解决。

Apr, 2023

本研究探讨了 ChatGPT 在解决编程问题方面的有效性，考察了其解决问题的正确性和时间、内存复杂度等效率，研究结果表明 ChatGPT 在结构化问题方面表现出较好的成功率，但其调试任务表现不佳，为 ChatGPT 的能力和改进提供了精辟的了解。

Jul, 2023

本研究使用 ChatGPT 这一语言模型探讨了如何利用其在软件工程中辅助完成常见任务，研究结果显示 ChatGPT 对许多任务均有不错的表现，但仍存在一些任务不适用。

May, 2023

本研究的主要目的是提供 ChatGPT 检测的最新技术的全面评估，同时我们评估了其他 AI 生成的文本检测工具，以检测 ChatGPT 生成的内容。此外，我们还创建了一个基准数据集用于评估各种技术在检测 ChatGPT 生成内容方面的性能。研究结果表明，现有方法都不能有效地检测 ChatGPT 生成的内容。

Apr, 2023