Apr, 2024

将错误关系整合到提示中，以改进 LLM 对逻辑错误的分类

PDF
TL;DR研究表明，使用对编程语法进行训练的 LLMs 可以有效地帮助开发人员，如生成编码问题示例或提供代码解释，此外，通过利用错误类型之间的关系，通过 LLMs 检测逻辑错误的方法比无关系描述的方法平均分类性能高约 21％，因此我们的研究可以帮助初学者程序员更有效地识别代码错误的原因并进行纠正，还可以为各种与编程相关的应用程序提供有用的基准数据集。
llmsprogramming educationlogical errorsdetectionnovice programmers
发现论文，激发创造
  • 利用大型语言模型为编程中的逻辑错误生成反馈阶梯

    基于大型语言模型的反馈生成方法在编程作业的逻辑错误中显示出巨大潜力。本研究通过使用多级反馈的方式来解决现有方法存在的问题，并通过用户研究评估了所生成反馈的质量。

    May, 2024

  • 逻辑错误解码：学生与大型语言模型的缺陷检测比较研究

    探索大型语言模型（LLMs）在检测和提供对逻辑错误的新手友好解释方面的性能，结合学生和模型响应的混合方法分析，观察到 LLMs 在逻辑错误识别方面的显著改进，认为两代 LLMs 在性能上显著优于学生。我们提出了如何将这些模型整合到计算机教育工具中，并讨论它们在支持学生学习编程方面的潜力。

    Nov, 2023

  • 利用 LLM 中的提示克服复杂教育文本数据中的不平衡

    本文研究了如何利用具有断言的大型语言模型（LLMs）来缓解教育数据集中的不平衡问题，结果显示，与传统的机器学习（ML）模型相比，具有断言的 LLMs 在认知参与水平上明显优于传统模型，并且针对特定子集的敏感性研究表明，将断言加入到 LLM 中可提高其性能约 11.94%。

    Apr, 2024

  • 与提示问题的交互：使用大型语言模型进行编程教学的新方法

    通过 Prompt Problems 的方法，我们提出了一种新的教授编程的方式，学生可以通过将问题转化为语言模型（LLMs）所能理解的提示来解决编程问题，并且我们展示了这个工具的设计、学生使用情况以及将 LLMs 整合到设计工具中所带来的新型编程问题和洞见。

    Jan, 2024

  • Logic-LM: 使用符号求解器增强大型语言模型进行可靠的逻辑推理

    Logic-LM 是一种将大型语言模型与符号推理相结合的框架，通过首先使用大型语言模型将自然语言问题转化为符号形式，然后进行确定性符号求解，以及自我精炼阶段来修正符号形式，在 ProofWriter、PrOntoQA、FOLIO 和 LogicalDeduction 等四个逻辑推理数据集上的结果表明，与仅使用大型语言模型相比，我们的方法可以显著提高逻辑推理的性能。

    May, 2023

  • LLMs 通过教学思路链找到数学推理错误

    通过引入一种独特的提示策略，名为教育思维链（PedCoT），该研究论文提出了一种有效识别推理错误的方法，并在数学问题中取得了显著优于基线模型的结果。

    May, 2024

  • LLMs 不能发现推理错误，但可以修正它们！

    本文将自我纠错过程分解为失误发现和输出校正两个核心组成部分，并对几种最先进的 LLM 进行了基准测试，结果显示 LLM 在发现逻辑错误方面普遍存在困难。针对输出校正，我们提出了一种回溯法，并证明当提供失误位置信息时，该方法能够明显改善性能。我们将回溯法视为轻量级替代强化学习方法的方式，并展示在准确率达到 60-70% 的奖励模型下依然有效。

    Nov, 2023

  • 评估大型语言模型的数学推理能力：重点关注错误识别和纠正

    我们通过定义四个评估任务，并设计多样的提示来全面评估十一种代表性的 LLM 模型，从考官的角度出发，为错误识别和修正提供了新的数据集和注释的错误类型和步骤。研究结果表明 GPT-4 在所有模型中表现最佳，而开源模型 LLaMA-2-7B 的能力与闭源模型 GPT-3.5 和 Gemini Pro 相当。尤其是计算错误被证明是最具挑战性的错误类型。此外，使用错误类型提示 LLM 可以将平均修正准确率提高 47.9%。这些结果揭示了开发 LLM 的数学推理能力的潜在方向。

    Jun, 2024

  • 评估 L 的 M 在检测 L 回应中的错误

    ReaLMistake 是第一个错误检测基准工具，包含了 LLMs 的客观、实际和多样化错误。通过评估 12 种 LLMs 的错误检测器，发现 LLMs 的错误检测性能低于人类，并且解释不可靠，对提示的微小变化敏感而改进困难，同时改进 LLMs 的流行方法也不能提高错误检测性能。

    Apr, 2024

  • 基于错误学习的 LLM 教学：自动化模型改进

    该研究介绍了创新的 “LLMs 作为教师” 的框架，利用先进的大型语言模型（LLMs）自动增强较小目标模型的训练。采用 “学习错误” 理论启发，该框架使用教师 LLM 细致分析目标模型中的具体错误，促进有针对性和高效的训练周期。通过 “学习错误” 和 “对比学习从错误中学习”，该框架实施了两种策略，分别关注错误响应以个性化训练数据，并分析正确和错误响应以更深入理解错误。使用多个开源模型进行的实证研究表明，在数理推理、编码能力和事实知识等多个基准测试中都取得了显著的改进。值得注意的是，改进后的 Llama-3-8b-Instruction 的表现超过了 ChatGPT，证明了我们方法的有效性。通过充分利用两种策略的优势，我们在领域内外基准测试上获得了更加平衡的性能提升。我们的代码可在此 https URL 找到。

    Jun, 2024