Nov, 2022

使用元探索为交互式学生程序提供反馈

PDF
TL;DR在这项工作中，我们表明，探索发现错误可以作为一种元探索问题，从而使我们能够构建一个有原则的目标来发现错误和一个用于优化此目标的算法，从而提供细粒度的反馈。该方法在一组来自交互式分配的超过 700K 真正的匿名学生程序上提供了 94.3％的反馈准确性，比现有方法提高了 17.7％，准确性接近人类水平。
automatic gradinginteractive softwarereinforcement learningfine-grained feedbackmeta-exploration problem
发现论文，激发创造
  • 针对初级编程任务的自动反馈生成

    我们提出了一种自动为入门编程问题提供反馈的新方法，该方法利用参考实现的任务和由可能制造的错误组成的错误模型。

    Apr, 2012

  • 学习程序嵌入以传递学生代码反馈

    本文利用神经网络将程序编码成一个从预置条件空间到后置条件空间的线性映射，提出了一种利用这些线性映射作为特征的规模反馈算法，并将其应用于 Code.org Hour of Code 和 Stanford University 的 CS1 课程的编程测评中。

    May, 2015

  • 编程课程中提供反馈的智能导师

    本研究提出了基于人工智能的编程教学智能助教，它可以回答学生的编程问题并提供准确的答案和示例，受测试的大学生认为这个工具可以成为其他课程中有用的工具。

    Jan, 2023

  • 面向初学编程练习的数据驱动反馈生成

    本文介绍了 “搜索，对齐和修复” 数据驱动程序修复框架，旨在自动化初级编程练习的反馈生成，采用了大量的学生提交。该技术可在大型或 MOOC 规模的初级编程课程中使用，其结果表明，在平均 2 秒内，SARFGEN 系统可以为 89.7％不正确的学生提交生成简明有用的反馈，并已集成到 Microsoft-DEV204.1X edX 班级中，用于生产。

    Nov, 2017

  • 基于实时反馈的指令跟随持续学习

    通过人机协作交互提供的实时二元反馈，用自然语言训练指令遵从代理的问题被研究。将学习作为一种上下文医师问题，将用户反馈转换为立即奖励，证明了其在提高指令执行效果方面具有优势，并且反馈信号与监督式演示数据的学习信号基本等价。

    Dec, 2022

  • 计算机编程中生成型人工智能反馈的学生认知和偏好

    ChatGPT 在自动化给予 Java 编程作业反馈方面的可行性进行了研究，调查结果表明学生们普遍认为 ChatGPT 反馈与 Shute 建立的形成性反馈准则相一致，他们更喜欢包含他们代码的反馈，此研究还提供了改进 ChatGPT 生成反馈的具体见解。

    Dec, 2023

  • 学生课程反馈的自动摘要

    本论文提出了一种新的基于整数线性规划框架的学生课程反馈摘要方法，在学生反馈语料库上的实验结果表明，该方法在 ROUGE 分数和人类评估方面优于一系列基线。

    May, 2018

  • 自动学生反馈生成智能系统的负责任开发框架

    利用最新的人工智能和自然语言处理技术，本文介绍了自动化反馈的前沿领域，分析了其伦理问题，并提出了一个框架，以帮助学者负责地开发这样的系统。

    Aug, 2023

  • 人机互动机器学习征求人员反馈会降低用户信任和对模型准确性的印象

    通过一个模拟物体检测系统的实验，我们研究了交互反馈对用户对智能系统及其准确性理解的影响，结果表明提供循环反馈降低了参与者对系统的信任和其对系统准确性的感知，这凸显了在设计智能系统时考虑用户反馈对用户信任的影响的重要性。

    Aug, 2020

  • 探索大型语言模型生成形成性编程反馈的潜力

    探索大型语言模型在计算机教育和学习中的潜力，通过分析其对带有程序代码的输入生成的反馈进行研究，以此为目标来帮助学生解决编程任务并识别不同类型的反馈。结果表明，大型语言模型在一些入门编程任务和学生错误方面表现出了合理的性能，但教育者应提供指导，因为其提供的反馈可能对初学者包含误导性信息。

    Aug, 2023