逻辑错误解码：学生与大型语言模型的缺陷检测比较研究

Nov, 2023

逻辑错误解码：学生与大型语言模型的缺陷检测比较研究

Decoding Logic Errors: A Comparative Study on Bug Detection by Students and Large Language Models

Stephen MacNeil, Paul Denny, Andrew Tran, Juho Leinonen, Seth Bernstein...

TL;DR探索大型语言模型（LLMs）在检测和提供对逻辑错误的新手友好解释方面的性能，结合学生和模型响应的混合方法分析，观察到 LLMs 在逻辑错误识别方面的显著改进，认为两代 LLMs 在性能上显著优于学生。我们提出了如何将这些模型整合到计算机教育工具中，并讨论它们在支持学生学习编程方面的潜力。

Abstract

Identifying and resolving logic errors can be one of the most frustrating challenges for novices programmers. Unlike syntax errors, for which a compiler or interpreter can issue a message, logic errors can be sub

logic errors novice programmers large language models llm performance computing education tools

发现论文，激发创造

将错误关系整合到提示中，以改进 LLM 对逻辑错误的分类

研究表明，使用对编程语法进行训练的 LLMs 可以有效地帮助开发人员，如生成编码问题示例或提供代码解释，此外，通过利用错误类型之间的关系，通过 LLMs 检测逻辑错误的方法比无关系描述的方法平均分类性能高约 21％，因此我们的研究可以帮助初学者程序员更有效地识别代码错误的原因并进行纠正，还可以为各种与编程相关的应用程序提供有用的基准数据集。

Apr, 2024

评估大型语言模型的数学推理能力：重点关注错误识别和纠正

我们通过定义四个评估任务，并设计多样的提示来全面评估十一种代表性的 LLM 模型，从考官的角度出发，为错误识别和修正提供了新的数据集和注释的错误类型和步骤。研究结果表明 GPT-4 在所有模型中表现最佳，而开源模型 LLaMA-2-7B 的能力与闭源模型 GPT-3.5 和 Gemini Pro 相当。尤其是计算错误被证明是最具挑战性的错误类型。此外，使用错误类型提示 LLM 可以将平均修正准确率提高 47.9%。这些结果揭示了开发 LLM 的数学推理能力的潜在方向。

Jun, 2024

语言模型通过代码对分类成为更好的缺陷检测器

大型语言模型能够通过代码生成和理解任务进行细粒度调整，而上下文学习技术在缺陷检测和修补中表现出色。本论文提出了代码对分类任务，其中模型接收有缺陷和无缺陷版本的代码对，从中识别出有缺陷的版本。实验证明，与判断代码片段中是否存在缺陷及其位置相比，大型语言模型更容易识别出有缺陷的代码对。

Nov, 2023

利用人工智能和大型语言模型评估实验中学生的错误：与人类评分员的比较研究

使用大型语言模型（LLMs）探索错误检测在探究式学习中的应用，并解决学生实验协议等复杂、不完整、甚至矛盾和多样化的数据中的逻辑错误识别的困难。

Aug, 2023

语言模型可作为逻辑求解器

LoGiPT 是一种新颖的语言模型，通过直接模拟逻辑求解器的推理过程并严格遵守求解器的语法规则，绕过分析错误，并在竞争的语言模型上表现出优异的性能。

Nov, 2023

利用大型语言模型为编程中的逻辑错误生成反馈阶梯

基于大型语言模型的反馈生成方法在编程作业的逻辑错误中显示出巨大潜力。本研究通过使用多级反馈的方式来解决现有方法存在的问题，并通过用户研究评估了所生成反馈的质量。

May, 2024

探索大型语言模型对初学者程序员求助请求的响应

本文探讨了在编程教育中使用大型语言模型（LLMs）的机会和威胁，研究表明 LLMs 有助于识别学生代码中的问题，但不可靠，需要在未来的研究中进一步挖掘。

Jun, 2023

评估 L 的 M 在检测 L 回应中的错误

ReaLMistake 是第一个错误检测基准工具，包含了 LLMs 的客观、实际和多样化错误。通过评估 12 种 LLMs 的错误检测器，发现 LLMs 的错误检测性能低于人类，并且解释不可靠，对提示的微小变化敏感而改进困难，同时改进 LLMs 的流行方法也不能提高错误检测性能。

Apr, 2024

大型语言模型在漏洞检测方面的能力综合研究

大型语言模型在漏洞检测方面的推理能力较差，常出现错误定位漏洞代码和错误识别漏洞类型的情况。

Mar, 2024

通过大型语言模型解决崩溃错误：实证研究

ChatGPT 的能力在解决现实世界的崩溃错误方面得到了首次调查，重点关注其在定位和修复与代码相关和环境相关的崩溃错误方面的效果。ChatGPT 在解决代码相关崩溃错误方面表现更好，其主要挑战在于不准确的定位。此外，我们还探索了 ChatGPT 在使用各种高级提示时的潜力。通过刺激 ChatGPT 的自我计划，它通过主动询问方法系统地研究了每个潜在的导致崩溃的环境因素，最终确定了崩溃的根本原因。根据我们的研究结果，我们提出了一种交互方法，名为 IntDiagSolver，旨在通过与 LLMs 的持续互动促进精确的崩溃错误解决。在多个 LLMs 上评估 IntDiagSolver 结果显示在崩溃错误解决的准确性方面持续提升，包括 ChatGPT、Claude 和 CodeLlama。

Dec, 2023