Apr, 2024

探索多层次的 GPT 生成的编程提示如何支持或让初学者失望

PDF
TL;DR近期的研究将大型语言模型（LLMs）应用于多样的教育环境，包括提供自适应编程提示，一种专注于帮助学生在问题解决中前进的反馈类型。本研究通过使用 LLM Hint Factory 的思辨法研究，对 12 名初学者进行了研究，该系统提供四个级别的提示，从一般的自然语言引导到具体的代码辅助，格式和粒度不同。我们发现，仅凭高级自然语言提示可能无济于事，甚至具有误导性，尤其是在处理下一步或与语法相关的帮助请求时。添加低级的提示，如带有行内注释的代码示例，可以更好地支持学生。这些发现为定制内容、格式和粒度级别的帮助响应，以准确识别和满足学生的学习需求，开辟了未来的研究方向。
发现论文，激发创造
  • 使用大型语言模型的入门编程的下一步提示生成

    研究了大型语言模型在编程教育中的应用，通过提供自动化的下一步提示来支持学生，发现大多数由大型语言模型生成的反馈信息描述了一个具体的下一步，并针对学生的代码和方法进行个性化处理，但当学生接近任务结束时，提示可能包含误导性信息并缺乏足够的细节。该研究展示了大型语言模型生成反馈的潜力，但需要进一步研究来探索其实际应用。

    Dec, 2023

  • 用大型语言模型（GPT）自动化编程作业反馈

    本实验研究使用 OpenAI 的 GPT-3.5 模型在一个自动化的评估平台上生成学生编程作业的个性化提示，实验小组依赖平台反馈较少但在启用 GPT 提示时表现得更好。

    Jun, 2023

  • 探索大型语言模型对初学者程序员求助请求的响应

    本文探讨了在编程教育中使用大型语言模型（LLMs）的机会和威胁，研究表明 LLMs 有助于识别学生代码中的问题，但不可靠，需要在未来的研究中进一步挖掘。

    Jun, 2023

  • 提示求解之前的线索引导：指导 LLMs 有效利用编码知识

    通过引入 Hint-before-Solving Prompting (HSP) 方法，将高质量提示应用于大型语言模型的解题过程，有效地提高了推理任务的准确性，并建立了 HSPMATH 数据集，提高了解题准确性。

    Feb, 2024

  • 自动化人类导师式编程反馈：利用 GPT-4 导师模型生成提示以及 GPT-3.5 学生模型验证提示

    使用生成式 AI 模型和大规模语言模型来生成编程教育中的个性化反馈，为学生提供编程提示以帮助他们解决程序中的错误。通过使用 GPT-4 作为 “导师” 模型和符号信息来提高生成质量，然后通过使用 GPT-3.5 作为 “学生” 模型来验证提示质量，我们开发了一种名为 GPT4Hints-GPT3.5Val 的新技术，通过对三个实际数据集进行广泛评估展示了我们技术的有效性。

    Oct, 2023

  • 与提示问题的交互：使用大型语言模型进行编程教学的新方法

    通过 Prompt Problems 的方法，我们提出了一种新的教授编程的方式，学生可以通过将问题转化为语言模型（LLMs）所能理解的提示来解决编程问题，并且我们展示了这个工具的设计、学生使用情况以及将 LLMs 整合到设计工具中所带来的新型编程问题和洞见。

    Jan, 2024

  • 探索大型语言模型生成形成性编程反馈的潜力

    探索大型语言模型在计算机教育和学习中的潜力，通过分析其对带有程序代码的输入生成的反馈进行研究，以此为目标来帮助学生解决编程任务并识别不同类型的反馈。结果表明，大型语言模型在一些入门编程任务和学生错误方面表现出了合理的性能，但教育者应提供指导，因为其提供的反馈可能对初学者包含误导性信息。

    Aug, 2023

  • 利用 LLMs 解析竞技编程解决方案

    本文提出自然语言解释和代码生成的联合任务用于解决竞技编程问题。通过实验结果表明，尽管在解决竞技级别编程问题方面表现不佳，但当前最先进的 LLMs 在描述和解释解决方案方面表现出强大的能力，进而提出解释生成方法学生成包含描述和分析的结构化解决方案说明。

    Jul, 2023

  • 使用大型语言模型的 IDE 内基于生成的信息支持

    本研究对基于大型语言模型的对话 UI 进行了研究，目标是实现上下文感知的工具，该工具可以自动利用开发人员的编程上下文来回答问题。我们为用户提供了一个 IDE 插件，允许用户使用高级请求查询后端（例如 OpenAI 的 GPT-3.5 和 GPT-4），我们进行了 32 名参与者的探索性用户研究，研究确认这种方法比 Web 搜索更有效地帮助理解代码，但效果的差异因参与者的经验水平而异。

    Jul, 2023

  • 一种基于知识组成的方法论用于评估 AI 助手

    通过 GPT-4 大型语言模型提供的自动提示生成器，我们评估了一种针对 CS1 编程作业的系统，该系统提供关于学生如何改进错误解决方案的自然语言指导。我们回答了三个研究问题：RQ1. 提示是否帮助学生改进代码？RQ2. 提示在捕捉学生代码问题方面的效果如何？RQ3. 学生解决的问题与提示中提到的问题是否相同？通过定量分析，我们确定了一组细粒度的知识组件，并确定了每个练习、错误解决方案和生成的提示适用哪些组件。通过对两个大型的 CS1 课程数据进行对比，我们发现，访问提示有助于学生更快地解决代码问题，提示能够一致地捕捉到学生代码中最紧迫的错误，并且同时处理几个问题而不是单个 bug 的提示更有可能直接帮助学生取得进展。

    Jun, 2024