May, 2024

用于提高 LLMs 代码可靠性的目标验证问题链

PDF
TL;DR通过自我完善方法，在没有人工介入和测试用例的情况下，通过针对初始代码中的特定节点使用目标验证问题（VQs），提高 LLM 生成代码的可靠性，并通过针对特定的 VQs 和初始代码重新提示 LLM 来修复潜在的漏洞。评估结果表明，我们的方法优于现有方法，减少了代码中目标错误的数量达到 21% 至 62%，同时提高了可执行代码实例的数量达到 13%。
llm-based assistantscode generationbugsreliabilitytargeted verification questions
发现论文，激发创造
  • 测试在不同级别的提示特异性下进行的代码生成的 LLMs

    评估了各种 LLM 在生成 Python 代码方面的性能，揭示了创建准确的 Python 函数的理想提示策略。

    Nov, 2023

  • 使用变形提示测试验证 LLM 生成的程序

    我们提出了一种称为变质提示测试的新颖解决方案，用于解决由大型语言模型生成的代码质量和正确性所引发的挑战，并在 HumanEval 评估中显示，该方法能够检测到由 GPT-4 生成的错误程序的 75％，误报率为 8.6％。

    Jun, 2024

  • 一般编程语言中代码生成的澄清问题

    通过收集并提出一个名为 CodeClarQA 的新数据集，研究人员证实使用澄清问题可以有效解决自然语言描述中模糊不清的部分，从而提高生成的可执行程序代码的准确性。

    Dec, 2022

  • 询问澄清问题是否增强 AI 生成代码的信心？关于大型语言模型的沟通能力

    通过使用大型语言模型生成的沟通工具，提出了一种以沟通为中心的过程，通过提出澄清问题来改善生成代码时存在的不明确意图规范、缺乏计算思维和不符合期望的代码质量等挑战，以提高对生成代码的信心。

    Aug, 2023

  • 代码生成中使用的提示的质量评估

    评估大型语言模型在代码生成方面的效果时，需要使用健全的基准测试，而不严谨的评估基准会提供虚假的性能表现。本研究分析了 9 个代码生成基准中的 3,566 个提示，以确定其中的质量问题，并研究了修复这些问题对模型性能的影响。发现评估基准主要侧重于 Python 和编码练习，且缺乏上下文依赖关系，同时还存在拼写和语法错误、表达不清晰以及不符合适当文档规范等质量问题。修复这些问题可以提高 Python 代码生成的性能，但对 Java 代码生成的改进不明显。此外，还发现 GPT-3.5-Turbo 和 CodeGen-2.5 模型可能存在数据污染问题。

    Apr, 2024

  • 代码感知提示：在使用 LLM 进行回归设置下的覆盖率引导测试生成研究

    对测试生成的向搜索引擎软件测试方法（Search Based Software Testing，SBST）进行了改进，使用大型语言模型（LLMs）和 SymPrompt 自动生成更全面的测试案例，提高测试质量与覆盖率。

    Jan, 2024

  • 大型语言模型生成代码中的错误

    这篇研究报告分析了使用三个主要大型语言模型（CodeGen、PanGu-Coder 和 Codex）生成的代码中的 333 个错误模式，并通过在线调查得到了 34 位使用大型语言模型的从业人员和研究人员对这些错误模式的重要性和普遍性的确认。研究人员和从业人员可以利用这些发现来开发有效的大型语言模型生成代码的质量保证技术。该研究揭示了大型语言模型生成代码的独特特征。

    Mar, 2024

  • LLMs 对安全代码审查的深入探讨

    应用大型语言模型进行安全代码审查时，其生成的回复通常存在冗长、含糊和不完整等问题，需要提高其简练性、可理解性和安全缺陷检测的合规性。本研究比较了三种先进的大型语言模型在 549 个包含安全缺陷的真实代码审查文件上的五个提示下的检测性能，通过分析最佳性能的大型语言模型 - 提示组合产生的 82 个回复中 100 个随机选择的代码文件，提取和分类了这些回复中存在的质量问题，总结出 5 个主题和 16 个类别。该研究揭示了大型语言模型生成的回复在安全代码审查中的不足之处，并为未来优化大型语言模型以更好地完成这一任务铺平了道路。

    Jan, 2024

  • LLMs 存储库级提示综述

    这篇综述研究了大型语言模型在编码生成任务中的有效提示方法，探讨了从个别编码问题到仓库规模解决方案的转变，旨在推进开发者生产力，为商业应用场景提供有用且适用的黑盒语言模型方法，并介绍了基于仓库级提示生成技术与 RepoCoder 的迭代检索与生成方法之间的权衡，以确立最佳实践，为尖端编码基准提供改进路径。

    Dec, 2023

  • 大型语言模型在漏洞检测方面的能力综合研究

    大型语言模型在漏洞检测方面的推理能力较差，常出现错误定位漏洞代码和错误识别漏洞类型的情况。

    Mar, 2024