Jan, 2024

与提示问题的交互：使用大型语言模型进行编程教学的新方法

PDF
TL;DR通过 Prompt Problems 的方法，我们提出了一种新的教授编程的方式，学生可以通过将问题转化为语言模型（LLMs）所能理解的提示来解决编程问题，并且我们展示了这个工具的设计、学生使用情况以及将 LLMs 整合到设计工具中所带来的新型编程问题和洞见。
发现论文，激发创造
  • 迅速：使用引导问题教授学习者如何有效利用 AI 代码生成器

    通过引入 “Prompt Problem” 概念以及开发名为 Promptly 的工具，本文介绍了一种新的教学方法，可以帮助学生学习如何为大型语言模型构建有效的提示，通过一项实地研究发现，Promptly 大部分被学生们积极接受，并且能够激发他们的计算思维能力和接触新的编程结构，未来的研究方向包括 Prompt Problem 设计的改进以及将其整合进课程和教学实践中的研究。

    Jul, 2023

  • CSEPrompts：一项初级计算机科学提示的基准

    AI 生成的内容在大规模自然语言处理模型与 CS 教育中的影响及潜在滥用的研究成果

    Apr, 2024

  • 使用大型语言模型的入门编程的下一步提示生成

    研究了大型语言模型在编程教育中的应用，通过提供自动化的下一步提示来支持学生，发现大多数由大型语言模型生成的反馈信息描述了一个具体的下一步，并针对学生的代码和方法进行个性化处理，但当学生接近任务结束时，提示可能包含误导性信息并缺乏足够的细节。该研究展示了大型语言模型生成反馈的潜力，但需要进一步研究来探索其实际应用。

    Dec, 2023

  • 激发即编程：大型语言模型的查询语言

    本文提出了一种 Language Model Programming（LMP）的全新方法，以将纯文本提示扩展为文本提示和脚本的直观组合，并允许指定约束条件，从而实现对下游任务的易于适应性。通过实现 LMQL（Language Model Query Language）来实现 LMP 的支持，并证明了其在保持或提高下游任务准确性的前提下，大大减少了计算的成本。

    Dec, 2022

  • 在教育和评估应用中探索提示式大型语言模型的能力

    利用大语言模型在现代教育领域创新的机会，通过研究提问型大语言模型、语法错误解释和人力资源面试评估，揭示了大语言模型在改变教育实践中的潜力和限制。

    May, 2024

  • MathPrompter：利用大型语言模型进行数学推理

    提出了一种名为 MathPrompter 的技术，它使用 Zero-shot chain-of-thought 提示技术生成多个代数表达式或 Python 函数，并以不同的方式解决相同的数学问题，从而提高模型在算术问题上的性能并提高置信水平。

    Mar, 2023

  • 利用大型语言模型解决数据中心任务

    通过挖掘 StackOverflow 帖子中的实际自然语言到代码任务来创建一个数据集，该论文提出了一种以聚类选择为基础的提示技术来确定在 LLMs 提示中包含多少数据以及选择哪些数据，并通过实验表明 LLM 的性能确实对提示中所传递的数据量敏感，对于输入表中存在大量语法变化的任务，聚类选择技术优于随机选择基准模型。

    Feb, 2024

  • 探索大型语言模型对初学者程序员求助请求的响应

    本文探讨了在编程教育中使用大型语言模型（LLMs）的机会和威胁，研究表明 LLMs 有助于识别学生代码中的问题，但不可靠，需要在未来的研究中进一步挖掘。

    Jun, 2023

  • 对话模型的节约提示

    研究了使用大型语言模型建立对话系统的不同方法，并分析了对话历史的表示方式，提出了一种更紧凑的提供对话历史信息的方法，从而有效减少模型 API 的成本。

    May, 2023

  • 探索大型语言模型在初级编程课程中生成追踪代码问题的潜力

    我们探讨了在初级编程课程中应用大型语言模型（LLM）生成代码追踪问题的方法，通过设计指导 GPT4 生成基于代码片段和描述的代码追踪问题的有针对性提示，并建立了一套人工评价指标，用于评估模型生成的问题与人工专家创建的问题的质量。我们的分析揭示了 LLMs 在生成多样化代码追踪问题方面的能力和潜力，并提供了一个独特的人工和 LLM 生成的追踪问题数据集，为教育和自然语言处理研究社区提供了宝贵资源。这项工作为关于 LLMs 在教育环境中潜在用途的持续对话做出了贡献。

    Oct, 2023