Mar, 2024

大型语言模型生成代码中的错误

PDF
TL;DR这篇研究报告分析了使用三个主要大型语言模型（CodeGen、PanGu-Coder 和 Codex）生成的代码中的 333 个错误模式，并通过在线调查得到了 34 位使用大型语言模型的从业人员和研究人员对这些错误模式的重要性和普遍性的确认。研究人员和从业人员可以利用这些发现来开发有效的大型语言模型生成代码的质量保证技术。该研究揭示了大型语言模型生成代码的独特特征。
发现论文，激发创造
  • 大型语言模型在完成可能存在漏洞的代码上表现不佳

    介绍和研究有潜在 bug 的代码补全问题，引入两个数据集，发现潜在 bug 显著降低 Code-LLMs 的性能，调查了几种后处理方法，但效果有限。

    Jun, 2023

  • 大型语言模型代码生成的鲁棒性和可靠性研究

    最近，大型语言模型 (LLMs) 在理解自然语言和生成编程代码方面表现出了非凡的能力。然而，对于 LLMs 生成的代码的可靠性和鲁棒性的研究尚未得到深入的探讨。这项研究提出了一个包括 1208 个编程问题的数据集 RobustAPI，用于评估 LLMs 生成的代码的可靠性和鲁棒性，并发现甚至对于 GPT-4 而言，62% 的生成代码存在 API 误用，这可能导致意想不到的后果。

    Aug, 2023

  • 关于代码生成的大型语言模型调查

    基于大规模语言模型的代码生成领域的综述，介绍了对 LLMs 在代码生成领域的最新进展、数据处理、性能评估、实际应用，对学术与实践之间的差距进行了分析，提出了关键挑战和机遇，并提供了一个资源网站以记录和传播该领域的最新进展。

    Jun, 2024

  • 语言模型通过代码对分类成为更好的缺陷检测器

    大型语言模型能够通过代码生成和理解任务进行细粒度调整，而上下文学习技术在缺陷检测和修补中表现出色。本论文提出了代码对分类任务，其中模型接收有缺陷和无缺陷版本的代码对，从中识别出有缺陷的版本。实验证明，与判断代码片段中是否存在缺陷及其位置相比，大型语言模型更容易识别出有缺陷的代码对。

    Nov, 2023

  • 大型语言模型在漏洞检测方面的能力综合研究

    大型语言模型在漏洞检测方面的推理能力较差，常出现错误定位漏洞代码和错误识别漏洞类型的情况。

    Mar, 2024

  • 大型语言模型中的编码风格一致性研究

    通过实证分析编码生成的主要模型（LLMs）和人类开发者的编码风格不一致，总结编码风格的不一致分类法，并对可行性、简洁性和健壮性进行比较，揭示 LLMs 和开发者具有不同的编码风格，并研究这些不一致的可能原因并提供解决方案。

    Jun, 2024

  • 大型语言模型与简单愚蠢的错误

    本研究检验了 AI 助手 Copilot 使用 Codex 生成代码时存在的简单错误（SStuBs），发现 Codex 和其他大型语言模型确实可以避免一些 SStuBs，但会生成已知的错误。我们探讨了这些错误的后果，并提出了一些避免策略，可能减少已知的 SStuBs 的产生，增加已知错误的修复概率。

    Mar, 2023

  • 探索大型语言模型在解决编程问题中的鲁棒性

    该研究探讨了大型语言模型在编程问题中的应用，发现最新技术如 InstructGPT 和 ChatGPT 在处理指令时表现优异，而早期使用变量名如 Codex 的模型的性能受描述问题时表浅的指标较大影响。

    Jun, 2023

  • 代码智能模型中的陷阱：分类与调查

    通过对现有研究的综述和分类研究，我们发现了语言模型在代码智能方面的潜在问题和挑战，并提出了相应的解决方案，以构建可靠的针对代码智能的语言模型。

    Oct, 2023

  • 代码堆栈中的错误：大规模 Python 代码堆栈中的错误能被 LLMs 发现吗

    针对在大型代码环境中评估大语言模型（LLMs）性能的研究，我们设计了一个评估简单语法错误能力的基准测试框架（BICS），研究发现代码环境对检索任务提出了更大的挑战，并且不同模型之间存在明显的性能差异，同时代码长度与性能降低之间有显著的相关性，尽管降低程度在不同模型之间有所不同。

    Jun, 2024