实时自动答案评分
本文介绍了一个名为 AutoSAS 的快速、可扩展和准确的自动短回答评分系统,该系统使用诸如词汇多样性、Word2Vec、提示和内容重叠等功能来实现其性能,并通过使用 Automated Student Assessment Prize 短回答评分(ASAP-SAS)公共数据集进行了评估,其表现与人类相当。
Dec, 2020
本研究探讨了基于监督学习的自动评分方法中,考虑到不同人评分偏好的各种模型。研究采用短答数学回答数据集进行了定量实验,并分析了各个评分人的个体偏好。结果表明,采用考虑评分者偏好的模型能够提高自动评分准确性。
Jun, 2023
本文研究了自动短答案评分问题,提出了一种新的基于 MathBERT 及上下文学习方法的框架,并在真实数据集上进行了评估,证明该框架对于之前未见过的数学问题的表现优于现有方法。
May, 2022
本文提出了一种使用回译和分数调整来增加论文 - 评分对数目的方法,并将其应用于 Automated Student Assessment Prize 数据集进行扩充,通过使用先前工作中的模型对增强数据的有效性进行了评估,并使用长短期记忆进行了性能评估,该模型广泛用于自动文章评分。使用增强数据来训练模型可以提高模型的性能。
Mar, 2022
本研究提出了一系列的数据增强操作,用于训练和测试自动评分模型以学习被先前研究忽视的特征和功能,同时在 Automated Student Assessment Prize 数据集中实现了最先进的性能。
Sep, 2023
本文介绍了一种人与深度学习模型相结合的方法,用于保证短文评分的质量和降低评分成本。通过引入可靠度估计方法来强制高质量的自动评分结果,同时把低可靠度的评分结果交给人类评分者来完成,实现了自动评分和人类评分者的协同作业。实验表明,该方法可以达到目标评分质量。
Jun, 2022
本研究描述并评估了三种主动学习方法,这些方法可以用于最小化需要人工评分者评分的论文数量,同时提供培训现代自动化论文评分系统所需的数据。这三种主动学习方法是基于不确定性的,基于拓扑的和混合方法,并使用双向编码器从转换语言模型中训练出的评分模型对包含在自动化学生评估奖中的论文进行分类。所有三种主动学习方法都高效,并且产生了彼此相似的分类结果。
Jan, 2023
本文研究旨在开发通过自动方法对大量课堂的 RTA 进行分数评估,以提供给学生和老师有关学生写作质量的形成性反馈。为了实现这个目标,我们开发了可解释特征自动评估 RTA 的证据评分。本文提出了一个简单而有前途的方法,通过利用单词嵌入模型来提高证明评分。我们在小学生写作语料库中评估了这种方法。
Aug, 2019
通过基于大规模的大学课程考试数据训练的神经网络模型,在历史考试数据上的实验证明了自动化简短回答评分系统的高准确性和一致性,这为减少人为主观性、改善评分一致性以提高公正性提供了有前途的解决方案。
May, 2024
本文提出一种多选题智能生成系统,利用预训练的语言模型,根据规定的性能指标,通过读取理解语料库来生成语法准确,具有可回答性、多样性和复杂性的问题及选项。
Sep, 2022