Dec, 2023

通过大型语言模型解决崩溃错误：实证研究

HTML
PDF
TL;DRChatGPT的能力在解决现实世界的崩溃错误方面得到了首次调查，重点关注其在定位和修复与代码相关和环境相关的崩溃错误方面的效果。ChatGPT在解决代码相关崩溃错误方面表现更好，其主要挑战在于不准确的定位。此外，我们还探索了ChatGPT在使用各种高级提示时的潜力。通过刺激ChatGPT的自我计划，它通过主动询问方法系统地研究了每个潜在的导致崩溃的环境因素，最终确定了崩溃的根本原因。根据我们的研究结果，我们提出了一种交互方法，名为IntDiagSolver，旨在通过与LLMs的持续互动促进精确的崩溃错误解决。在多个LLMs上评估IntDiagSolver结果显示在崩溃错误解决的准确性方面持续提升，包括ChatGPT、Claude和CodeLlama。
发现论文，激发创造
  • Detect-Localize-Repair: 使用 CodeT5 学习调试的统一框架

    提出了一种基于预训练编程语言模型CodeT5的新型统一“Detect-Localize-Repair”框架CodeT5-DLR，它包括三个目标，即bug检测、定位和程序修复，并在Java和Python的两个新收集的行级调试数据集上进行了评估。结果表明，该模型在NLP和软件工程领域的现有基线上显著优于其他机器学习方法。

    Nov, 2022

  • 继续交谈：使用ChatGPT每个0.42美元修复了337个错误中的162个

    ChatRepair是第一个全自动、基于会话的自动程序修复方法，它以对话方式交替进行修补生成和直接反馈以实现自动程序修复。

    Apr, 2023

  • ChatGPT: 最终的编程助手吗？—— 它有多远？

    我们通过实证分析了ChatGPT在无人辅助编程助手方面的潜力，并强调了其相对程序生成、程序修复、代码摘要方面的表现，并对其在常见编程问题上的表现进行了评估，这证明ChatGPT有效地处理典型的编程挑战，但我们也发现，综合的描述可能会限制ChatGPT的关注点并阻碍其利用其广泛的知识进行问题解决。

    Apr, 2023

  • ChatGPT在软件工程领域的适用范围：一次彻底调查

    对 ChatGPT 在软件工程中的应用进行了研究，发现 ChatGPT 在代码的语法理解方面具有较高的能力，但在代码的语义理解方面，特别是动态语义方面存在困难，容易产生虚假输出。这表明在软件工程中使用 ChatGPT 时需要进一步探索验证其输出正确性的方法，以确保其可靠性。

    May, 2023

  • 程序分析指南：与大型语言模型的旅程

    使用LLM辅助静态分析进行识别use-before-initialization（UBI）错误的研究通过设计LLift代理和提示来克服多个挑战，测试结果表明在实际场景中具有非常强大的能力，并发现了Linux内核中以前未知的13个UBI错误，为使用LLM在大规模现实世界数据集中发现错误的新方法和机会铺平了道路。

    Aug, 2023

  • 基于日志数据的ChatGPT评估

    本研究探讨了ChatGPT在日志数据处理上的能力，并指出其局限性和可扩展性问题，为日后学术研究提供了参考。

    Sep, 2023

  • ChatGPT如何解决弱点管理问题

    本文探索了ChatGPT在涉及完整漏洞管理过程的六项任务中的能力，并使用包含78,445个样本的大规模数据集对其进行了比较。结果表明ChatGPT在辅助漏洞管理方面具有巨大的潜力，但同时也揭示了它所遇到的困难，并为未来的研究方向提供了启示。

    Nov, 2023

  • DebugBench：评估大型语言模型的调试能力

    大型语言模型 (LLMs) 在编码能力方面表现出色。然而，作为编程能力的另一个关键组成部分，LLMs 的调试能力仍未得到充分探索。我们介绍了“DebugBench”，一个包含 4,253 个实例的 LLM 调试基准。它涵盖了 C++、Java 和 Python 中的四个主要漏洞类别和 18 个次要类型。通过使用 GPT-4 在源数据中植入漏洞，收集 LeetCode 社区的代码片段，并进行严格的质量检查来构建 DebugBench。我们以零样本场景中评估了两个商业和三个开源模型。我们发现，（1）与人类相比，GPT-4 等闭源模型的调试性能较差，Code Llama 等开源模型未能达到任何通过率；（2）调试的复杂性明显取决于漏洞类别；（3）运行时反馈对调试性能有明显影响，但并非总是有帮助。作为扩展，我们还比较了 LLM 调试和代码生成，发现闭源模型它们之间存在很强的关联。这些发现将有助于 LLM 在调试方面的发展。

    Jan, 2024

  • GPT-O1能否消灭所有漏洞？

    本研究针对现有ChatGPT版本在自动程序修复（APR）中的有效性进行了比较与评估，填补了这一领域的研究空白。我们发现最新的O1模型在修复成功率、修复成本和行为模式等方面明显优于传统的ChatGPT，成功修复了基准中的所有40个漏洞。这一发现为ChatGPT在APR中的应用提供了深入探索的参考。

    Sep, 2024

  • GPT-O1能消灭所有BUG吗？对GPT系列大型语言模型在QuixBugs上的评估

    本研究解决了不同版本GPT系列模型在自动程序修复（APR）中的有效性比较缺乏的问题。我们通过对最新的GPT模型版本进行评估，发现O1模型的修复能力超越了之前的版本，成功修复了基准中的所有40个BUG。这项工作为进一步探索GPT系列模型在APR中的应用奠定了基础。

    Sep, 2024