将大型语言模型集成到调试 C 编译器中以生成上下文错误解释

Aug, 2023

将大型语言模型集成到调试 C 编译器中以生成上下文错误解释

Integrating Large Language Models into the Debugging C Compiler for generating contextual error explanations

Andrew Taylor, Alexandra Vassar, Jake Renzella, Hammond Pearce

TL;DR该论文介绍了一种利用大型语言模型（LLM）在我们的调试 C 编译器（DCC）中生成简单语言的增强型编译器错误解释的方法，通过专家评估，我们观察到 LLM 生成的编译器错误解释在 90% 的编译时错误和 75% 的运行时错误上概念上是准确的，同时新的 DCC 辅助工具已经被学生广泛采用，平均每周有 1047 个独立运行，初步评估显示了使用 LLMs 来补充编译器输出以增强初学者编程教育的潜力。我们将我们的工具作为开源软件提供给社区。

Abstract

This paper introduces a method for large language models (LLM) to produce enhanced compiler error explanations, in simple language, within our Debugging C Compiler (DCC). It is well documented that compiler error

large language models compiler error explanations debugging c compiler novice programmers programming education

发现论文，激发创造

利用大型语言模型增强编程错误信息

使用大型语言模型增强编程错误消息，以提供错误说明和修复建议，从而生成比原始编程错误消息更易于理解和可操作的编程错误消息。

Oct, 2022

元元大型语言模型编译器：编译优化基本模型

通过 Meta Large Language Model Compiler (LLM Compiler) 提供的编译器优化用户界面，可以更好地理解中间表示 (IR)、汇编语言和优化技术。该模型经过数百亿个 LLVM-IR 和汇编代码令牌的训练，并在指令微调中提高了对编译器行为的理解。LLM Compiler 旨在为学术研究人员和行业从业者在编译器优化方面提供可扩展、具有成本效益的基础。

Jun, 2024

探索大型语言模型用于代码解释

使用各种大型语言模型自动生成代码片段的自然语言摘要，研究结果表明，代码语言模型优于其通用模型，而零 - shot 方法在训练集和测试集之间分布不同的数据集上取得了更好的结果。

Oct, 2023

评估代码生成的上下文学习库

当今大型语言模型 (LLMs) 具备高度的代码生成和理解能力，特别是在解释用户指导任务时，它们对于解释陌生库中的代码模块显得尤为有希望。最近的研究表明，大型专有 LLMs 可以通过演示学习上下文中的新型库使用。这些结果引发了几个问题，即演示是否需要、是否较小的（更加开放的）模型也具备这种能力等等。本研究以更广泛的方法系统评估不同类型的 LLMs，在三个反映不同领域专业化程度的场景中，了解它们在基于上下文定义的库生成代码时的能力和限制。我们的研究结果表明，即使是开源的较小型 LLMs，如 Llama-2 和 StarCoder，也展现出了对新型代码库的熟练理解能力。我们的发现进一步揭示，LLMs 在学习新的库模块时表现出惊人的高度熟练度，即使只提供自然语言描述或函数的原始代码实现，这比演示要便宜得多。总体而言，我们的研究结果为在更具适应性和动态性的编码环境中利用 LLMs 铺平了道路。

Nov, 2023

比较由学生和大型语言模型创建的代码解释

通过对大型语言模型进行评估，并将其与学生创建的代码解释进行比较，本文发现自动生成的 LLM 代码解释具有更高的准确性和易理解性，从而提供了一种解决教育中代码解释挑战的新方法。

Apr, 2023

利用 LLMs 解释 EDA 综合错误

通过使用大型语言模型，本研究考察了如何利用人工智能的最新进展，生成适合初学者理解的编译时综合错误消息的解释，以在数字设计中培养新工程师。

Apr, 2024

LDB: 通过逐步验证运行时执行的大型语言模型调试器

大型语言模型调试器（LDB）是一个新颖的调试框架，它使得大型语言模型能够利用运行时执行信息改进生成的程序。

Feb, 2024

DebugBench：评估大型语言模型的调试能力

大型语言模型 (LLMs) 在编码能力方面表现出色。然而，作为编程能力的另一个关键组成部分，LLMs 的调试能力仍未得到充分探索。我们介绍了 “DebugBench”，一个包含 4,253 个实例的 LLM 调试基准。它涵盖了 C++、Java 和 Python 中的四个主要漏洞类别和 18 个次要类型。通过使用 GPT-4 在源数据中植入漏洞，收集 LeetCode 社区的代码片段，并进行严格的质量检查来构建 DebugBench。我们以零样本场景中评估了两个商业和三个开源模型。我们发现，（1）与人类相比，GPT-4 等闭源模型的调试性能较差，Code Llama 等开源模型未能达到任何通过率；（2）调试的复杂性明显取决于漏洞类别；（3）运行时反馈对调试性能有明显影响，但并非总是有帮助。作为扩展，我们还比较了 LLM 调试和代码生成，发现闭源模型它们之间存在很强的关联。这些发现将有助于 LLM 在调试方面的发展。

Jan, 2024

教授大型语言模型自我调试技能

本论文结合自我调试技术和大型语言模型，提出了一种代码生成方法，不依靠反馈信息和测试用例，实现了语言模型的自我纠错和错误说明能力，从而在文本到 SQL 生成、C++ 到 Python 转换等方面，取得了更优秀的性能表现。

Apr, 2023

将错误关系整合到提示中，以改进 LLM 对逻辑错误的分类

研究表明，使用对编程语法进行训练的 LLMs 可以有效地帮助开发人员，如生成编码问题示例或提供代码解释，此外，通过利用错误类型之间的关系，通过 LLMs 检测逻辑错误的方法比无关系描述的方法平均分类性能高约 21％，因此我们的研究可以帮助初学者程序员更有效地识别代码错误的原因并进行纠正，还可以为各种与编程相关的应用程序提供有用的基准数据集。

Apr, 2024