Nov, 2023

基于规则的错误分类方法用于分析频繁错误的差异

PDF
TL;DR我们提出了一种基于规则的错误分类工具，对包含错误程序和正确程序的代码对进行错误分类，以分析初学者和专家程序员之间常见错误的差异，并为进一步的与代码相关的教育研究创建错误标记的数据集。
errorsnovice programmersexpert programmerserror classificationfrequent errors
发现论文，激发创造
  • 针对初级编程任务的自动反馈生成

    我们提出了一种自动为入门编程问题提供反馈的新方法，该方法利用参考实现的任务和由可能制造的错误组成的错误模型。

    Apr, 2012

  • 自动化错误分析：学习错误特征

    本研究提出了一种自动学习可解释规则的元学习方法，应用在 NLP 系统上，用以了解和改善系统的错误表现，并取得了一定的性能提升。该方法通过对验证数据的错误案例进行元特征提取以及规则学习，成功地为 VilBERT 和 RoBERTa 建立了可解释规则，进一步提高了系统表现。

    Jan, 2022

  • 运用大型语言模型进行代数错误分类

    本研究通过使用预训练的大型语言模型，提出了一种灵活的错误分类方法，可以对更多的学生回答的数学问题进行分类，并分析了该方法的常见分类错误和自动错误分类的局限性。

    May, 2023

  • 评估人类错误与完美基准的对比

    研究人类在制定决策时可能产生错误的情况，以国际象棋运动员的决策为例，从围绕技能、时间和决策难度三个方面特征进行分析，并且发现描述决策困难度的特征比技能或时间更有影响力。

    Jun, 2016

  • 将错误关系整合到提示中，以改进 LLM 对逻辑错误的分类

    研究表明，使用对编程语法进行训练的 LLMs 可以有效地帮助开发人员，如生成编码问题示例或提供代码解释，此外，通过利用错误类型之间的关系，通过 LLMs 检测逻辑错误的方法比无关系描述的方法平均分类性能高约 21％，因此我们的研究可以帮助初学者程序员更有效地识别代码错误的原因并进行纠正，还可以为各种与编程相关的应用程序提供有用的基准数据集。

    Apr, 2024

  • 机器学习任务的调试

    本文提出了一种基于 Pearl's 理论的原因分析方法 Psi，能够通过编码 PS 的计算来确定数据误差的根本原因，并使用概率编程和机器学习算法等方法提高计算效率和准确性。

    Mar, 2016

  • ImageNet 模型错误的自动分类

    自动化错误分类框架的综合评估表明，尽管 top-1 准确率未能完全衡量模型的真实性能，但仍然是一个有价值的性能指标，对错误类型的占比具有强大的预测能力。

    Nov, 2023

  • 一些语法错误是频繁出现的，其他则很重要

    本文提供并应用一种方法来量化不同的语法错误类型对人类的重要性，表明一些罕见的错误类型被认为是令人困扰的，而其他常见的错误类型则不是；这影响了改进系统和评估方式的可能方向。

    May, 2022

  • 逻辑错误解码：学生与大型语言模型的缺陷检测比较研究

    探索大型语言模型（LLMs）在检测和提供对逻辑错误的新手友好解释方面的性能，结合学生和模型响应的混合方法分析，观察到 LLMs 在逻辑错误识别方面的显著改进，认为两代 LLMs 在性能上显著优于学生。我们提出了如何将这些模型整合到计算机教育工具中，并讨论它们在支持学生学习编程方面的潜力。

    Nov, 2023

  • 面向成本和误差敏感分类的软方法论

    本论文提出了一种新颖的代价敏感分类方法，称为软代价敏感分类，通过多准则优化将代价和错误率相结合，可以改善现有的代价敏感分类算法，并且可以考虑加权错误率以解决不平衡分类问题。实验结果表明，该方法在测试错误率和测试代价方面都比现有的代价敏感分类算法更优秀。

    Oct, 2017