Aug, 2023

使用语言模型隐性自动评估数学简答题

PDF
TL;DR我们提出了一种新的方法来评估数学题的一些简短构建性回答。我们的方法使用一个流程来识别学生回答中指定的关键值，从而确定回答的正确性并发现任何误解。这些关键值的信息可以用于为教师和学生提供反馈，以提供更准确和有用的评估方法，有效改善学生对数学的理解。
assessmentshort constructed responsesvalue identification pipelinefeedbackmathematics
发现论文，激发创造
  • 数学语言处理：开放式数学问题的自动分级与反馈

    本文提出了一种基于 “数理语言处理” 的数据驱动框架来自动评分开放性数学问题实现的方案，采用不同聚类方法组成的三层模型对多步解决方案进行追踪和错误定位，并在真实的慕课数据上进行了测试和验证，说明它可以极大地减少大规模教育平台上所需的人力投入。

    Jan, 2015

  • 基于上下文元学习的自动短数学答案评分

    本文研究了自动短答案评分问题，提出了一种新的基于 MathBERT 及上下文学习方法的框架，并在真实数据集上进行了评估，证明该框架对于之前未见过的数学问题的表现优于现有方法。

    May, 2022

  • 一种基于 LLMs 的思维链提示方法用于评估学生科学形成性评价回答

    本研究探讨了使用大型语言模型（LLMs）对 K-12 科学问答进行评分和解释的方法。通过结合少样本学习、主动学习和推理链条，采用 GPT-4 自动评分中学地球科学问答，我们成功地对作业答案进行评分并提供了有意义的解释，进一步系统分析了该方法的优缺点，揭示了人与机联合评分技术提升开放式科学评估的潜力。

    Mar, 2024

  • 短答数学题评分人偏好的建模与分析

    本研究探讨了基于监督学习的自动评分方法中，考虑到不同人评分偏好的各种模型。研究采用短答数学回答数据集进行了定量实验，并分析了各个评分人的个体偏好。结果表明，采用考虑评分者偏好的模型能够提高自动评分准确性。

    Jun, 2023

  • 使分类器能够明确地与人类价值观保持一致

    该研究介绍了一个基于明确人类价值观的价值对齐分类框架，并从大规模语言模型中提炼价值对齐知识以构建分类器，结果表明使用显式人类价值观分类器能提高人工智能的包容性和可解释性。

    Oct, 2022

  • 实时自动答案评分

    本文旨在通过大数据分析和自动评分技术，解决开放式问答评估所面临的高成本和低效率的困难，构建一个能够实时记录学生答题进程并进行评分的系统，以改善教育质量。

    Oct, 2022

  • 语言模型级联

    通过利用概率编程技术以及组合多个模型，并在测试中反复交互，我们提出了一种基于语言模型层级结构的模型组合方法，以实现对复杂数据类型（如字符串）的快速学习和推理。

    Jul, 2022

  • 语言模型对多项选择任务的预测在评分方法变化下不稳定

    该研究系统比较了多个选择题语言模型的不同预测方法，包括根据生成的回答进行评分、基于概率的得分方法、李克特量表风格的评分方法和嵌入相似度。通过对实用语言解释的案例研究发现，语言模型的预测结果在方法选择的变化下不具有稳健性，无论是在单个语言模型内部还是在不同语言模型之间。由于这种变异性导致研究人员在报告结果时存在显著的自由度，了解这种变异性对于确保结果的稳健性和研究诚信至关重要。

    Mar, 2024

  • 语言模型（基本）知道它们知道的

    本研究旨在探究自然语言模型是否可以自我评估其答案准确性并预测正确答案概率，结果表明较大模型能够准确预测答案概率，训练可提高模型预测 P（IK）的能力，但模型在新任务上仍存在校准困难。

    Jul, 2022

  • 来自不受信任教师的诚实学生：从预训练语言模型中学习可解释的问答流程

    本文介绍一种新的基于 “Markup-and-Mask” 技术的生成问答系统解释性解释的方法，并提出了一种使用预训练语言模型自动生成标注数据进行端到端学习的方式来训练缩小版的模型的方法，同时结合了自由文本与摘录型解释的特点，进一步提高了问答系统的可信度。

    Oct, 2022