Nov, 2017

面向初学编程练习的数据驱动反馈生成

PDF
TL;DR本文介绍了 “搜索，对齐和修复” 数据驱动程序修复框架，旨在自动化初级编程练习的反馈生成，采用了大量的学生提交。该技术可在大型或 MOOC 规模的初级编程课程中使用，其结果表明，在平均 2 秒内，SARFGEN 系统可以为 89.7％不正确的学生提交生成简明有用的反馈，并已集成到 Microsoft-DEV204.1X edX 班级中，用于生产。
program repairfeedback generationintroductory programmingautomated techniquesarfgen system
发现论文，激发创造
  • 针对初级编程任务的自动反馈生成

    我们提出了一种自动为入门编程问题提供反馈的新方法，该方法利用参考实现的任务和由可能制造的错误组成的错误模型。

    Apr, 2012

  • 基于图形的自监督程序修复技术，利用诊断反馈

    本文提出了一种基于程序 -- 反馈图的图神经网络及一种用非监督学习方法构建大量程序修复样例的自监督学习范式。最终应用的 DrRepair 算法在两个应用领域上都取得了比之前的工作更好的修复效果。

    May, 2020

  • 基于同行援助的修复器：赋予大型语言模型修复高级学生作业的能力

    我们基于大型语言模型（LLM）提出了一个名为 PaR 的框架，用于解决高级编程作业中的程序错误修复问题，并通过对新的高级学生作业数据集（Defects4DS）和另一个经过深入调查的 ITSP 数据集的评估，展示了超越现有 LMM - 和基于符号的方法的最新性能提升（分别达到了 19.94％和 15.2％的修复率提高）。

    Apr, 2024

  • 使用循环神经网络自动纠正编程作业中的语法错误

    使用递归神经网络 (RNNs) 生成自动化反馈以修复编程任务中的语法错误，可以完全修复 31.69% 的提交并部分修正 6.39% 的提交。

    Mar, 2016

  • 深度强化学习用于编程语言纠错

    针对初学者编程者在编程语言上的困惑，通过一种新颖的基于强化学习的编程语言纠错框架，利用专家演示以及自我探索等方式进行训练提升，使得其对有错误的程序进行更好的修复，相对于最先进的工具 DeepFix 在修复错误和更多的编译器错误信息上提高了 14% 和 29%

    Jan, 2018

  • SequenceR: 端到端程序修复的序列到序列学习

    本文以序列到序列学习为基础，提出了一种全新的端到端程序修复方法。通过利用复制机制克服大型代码中出现的无限词汇问题，使用数据驱动的 SequenceR 系统在开放源代码上进行了评估和评测，有效地从 Defects4J 基准中找到正确的补丁。

    Dec, 2018

  • 使用元探索为交互式学生程序提供反馈

    在这项工作中，我们表明，探索发现错误可以作为一种元探索问题，从而使我们能够构建一个有原则的目标来发现错误和一个用于优化此目标的算法，从而提供细粒度的反馈。该方法在一组来自交互式分配的超过 700K 真正的匿名学生程序上提供了 94.3％的反馈准确性，比现有方法提高了 17.7％，准确性接近人类水平。

    Nov, 2022

  • RAP-Gen：用 CodeT5 进行检索增强的修补补丁生成自动程序修复

    自动程序修复是减少开发人员手动调试努力并提高软件可靠性的关键。本文提出了一种新颖的检索增强型修补生成框架（RAP-Gen），通过明确利用从以前的错误修复对的代码库中检索出的相关修复模式来简化参数模型的负担，进而自动化程序修复过程。实验结果表明，RAP-Gen 在所有基准测试中显著优于先前的最先进方法，例如在 818 个 Defects4J 错误上修复了 15 个更多的错误。

    Sep, 2023

  • 学习程序嵌入以传递学生代码反馈

    本文利用神经网络将程序编码成一个从预置条件空间到后置条件空间的线性映射，提出了一种利用这些线性映射作为特征的规模反馈算法，并将其应用于 Code.org Hour of Code 和 Stanford University 的 CS1 课程的编程测评中。

    May, 2015

  • 学生课程反馈的自动摘要

    本论文提出了一种新的基于整数线性规划框架的学生课程反馈摘要方法，在学生反馈语料库上的实验结果表明，该方法在 ROUGE 分数和人类评估方面优于一系列基线。

    May, 2018