Jan, 2023

利用主动学习方法策略性地选择论文进行自动评分

PDF
TL;DR本研究描述并评估了三种主动学习方法，这些方法可以用于最小化需要人工评分者评分的论文数量，同时提供培训现代自动化论文评分系统所需的数据。这三种主动学习方法是基于不确定性的，基于拓扑的和混合方法，并使用双向编码器从转换语言模型中训练出的评分模型对包含在自动化学生评估奖中的论文进行分类。所有三种主动学习方法都高效，并且产生了彼此相似的分类结果。
发现论文，激发创造
  • 使用反向翻译文章和调整分数来提高自动化论文评分的性能

    本文提出了一种使用回译和分数调整来增加论文 - 评分对数目的方法，并将其应用于 Automated Student Assessment Prize 数据集进行扩充，通过使用先前工作中的模型对增强数据的有效性进行了评估，并使用长短期记忆进行了性能评估，该模型广泛用于自动文章评分。使用增强数据来训练模型可以提高模型的性能。

    Mar, 2022

  • 增强训练在自动化论文评分中的具体方法

    本研究提出了一系列的数据增强操作，用于训练和测试自动评分模型以学习被先前研究忽视的特征和功能，同时在 Automated Student Assessment Prize 数据集中实现了最先进的性能。

    Sep, 2023

  • 揭示自动化作文评分的图景：准确性、公正性和普适性的综合研究

    我们的研究旨在揭示自动论文评分（AES）模型的准确性、公平性和泛化能力之间的复杂关系，为开发真实教育中的有效 AES 模型提供实用洞察。

    Jan, 2024

  • 非母语学习者文章的自动评估：探究语言特征的作用

    本文探讨了使用不同的语言学特征在自动写作评分中预测性能的问题。研究结果表明，虽然使用这些特征可以得到良好的预测模型，但每个数据集的最优特征不同。

    Dec, 2016

  • 基于 Transformer 模型的自动化论文评分数据增强

    本文研究使用 Transformer 模型与数据增强技术解决自动评分的问题，通过实验证明其有效性。

    Oct, 2022

  • 实时自动答案评分

    本文旨在通过大数据分析和自动评分技术，解决开放式问答评估所面临的高成本和低效率的困难，构建一个能够实时记录学生答题进程并进行评分的系统，以改善教育质量。

    Oct, 2022

  • 抽象文本摘要的主动学习

    本文提出了第一个基于多样性原则的主动学习查询策略来缓解抽象文本摘要中昂贵的注释成本，并分析了自学习的效果。该策略可以帮助提高 ROUGE 和一致性分数。

    Jan, 2023

  • 论文评分支持中句子聚类的深度学习

    本文介绍了两个手动注释的芬兰本科学生论文数据集，旨在评估几种基于深度学习嵌入方法对支持论文评分的句子聚类的适用性。发现选择最合适的方法取决于试题和答案的性质，深度学习方法能够但不能保证在词汇重叠上的简单方法之上表现更好。

    Apr, 2021

  • 使用微调和多元回归的自动作文多维评分

    我们开发了两个模型，通过对两个大型数据集进行微调和其他策略，自动评分英文文章的多个维度，结果显示我们的系统在精确度、F1 得分和 Quadratic Weighted Kappa 三个标准下取得了卓越的性能，并且在整体评分中优于现有方法。

    Jun, 2024

  • 从自动化到增强：大语言模型提升作文评分领域

    研究调查了大型语言模型（LLMs），特别是 GPT-4 和经过精细调整的 GPT-3.5 作为自动作文评分（AES）系统的工具的有效性。实验结果显示 LLM-based AES 系统具有卓越的准确性、一致性、泛化能力和可解释性，并超越传统评分模型，同时也提高人工评分员的表现。

    Jan, 2024