Dec, 2020

使用 AutoSAS 进行评分 —— 一种用于短答案评分的自动化系统

PDF
TL;DR本文介绍了一个名为 AutoSAS 的快速、可扩展和准确的自动短回答评分系统，该系统使用诸如词汇多样性、Word2Vec、提示和内容重叠等功能来实现其性能，并通过使用 Automated Student Assessment Prize 短回答评分（ASAP-SAS）公共数据集进行了评估，其表现与人类相当。
online examsautomated short answer scoringautosaslexical diversityasap-sas
发现论文，激发创造
  • 平衡成本和质量：探索人在环中的框架，用于自动化短答案评分

    本文介绍了一种人与深度学习模型相结合的方法，用于保证短文评分的质量和降低评分成本。通过引入可靠度估计方法来强制高质量的自动评分结果，同时把低可靠度的评分结果交给人类评分者来完成，实现了自动评分和人类评分者的协同作业。实验表明，该方法可以达到目标评分质量。

    Jun, 2022

  • 实时自动答案评分

    本文旨在通过大数据分析和自动评分技术，解决开放式问答评估所面临的高成本和低效率的困难，构建一个能够实时记录学生答题进程并进行评分的系统，以改善教育质量。

    Oct, 2022

  • 利用单次提示和文本相似性评分模型进行简答评分

    本文研究了一种自动短答案评分（ASAG）模型，提供了分析性得分和最终的整体得分。使用基于大型语言模型（LLM）的一次提示和文本相似性评分模型，通过小型手动注释数据集进行领域适应性，获得了较高的准确性和加权 kappa 值，从而在公开 ASAG 数据集的子集上取得了重大进展。

    May, 2023

  • 基于多路注意力网络的自动短答案评分

    本文提出了一种自动短答案评分学习框架，该框架针对 K-12 教育中的自由文本问题，旨在自动提取语言信息并在自由文本学生答案与参考答案之间准确建模语义关系，实验结果表明在各项评估指标上均高于最新算法模型。

    Sep, 2019

  • 基于上下文元学习的自动短数学答案评分

    本文研究了自动短答案评分问题，提出了一种新的基于 MathBERT 及上下文学习方法的框架，并在真实数据集上进行了评估，证明该框架对于之前未见过的数学问题的表现优于现有方法。

    May, 2022

  • 超越人类主观性与错误：一种新的人工智能评分系统

    通过基于大规模的大学课程考试数据训练的神经网络模型，在历史考试数据上的实验证明了自动化简短回答评分系统的高准确性和一致性，这为减少人为主观性、改善评分一致性以提高公正性提供了有前途的解决方案。

    May, 2024

  • 短答数学题评分人偏好的建模与分析

    本研究探讨了基于监督学习的自动评分方法中，考虑到不同人评分偏好的各种模型。研究采用短答数学回答数据集进行了定量实验，并分析了各个评分人的个体偏好。结果表明，采用考虑评分者偏好的模型能够提高自动评分准确性。

    Jun, 2023

  • 神经网络自动文本评分

    提出一种基于 Long-Short Term Memory 网络的自动化文本评分框架，该框架通过学习特定单词对文本评分的贡献来构建单词表示，并且能够在可视化神经网络的启发下，识别出文本中更具区分性的区域，以提高模型可解释性。

    Jun, 2016

  • 解决数据稀缺和分布失衡问题的有效自动化口语评估方法

    使用自监督学习的方法，基于测量的分类和损失重新加权的两种新模型策略，提高了自动口语评估系统的学习者语言能力预测准确性。

    Apr, 2024

  • 使用微调和多元回归的自动作文多维评分

    我们开发了两个模型，通过对两个大型数据集进行微调和其他策略，自动评分英文文章的多个维度，结果显示我们的系统在精确度、F1 得分和 Quadratic Weighted Kappa 三个标准下取得了卓越的性能，并且在整体评分中优于现有方法。

    Jun, 2024