Jan, 2024

揭示自动化作文评分的图景：准确性、公正性和普适性的综合研究

PDF
TL;DR我们的研究旨在揭示自动论文评分（AES）模型的准确性、公平性和泛化能力之间的复杂关系，为开发真实教育中的有效 AES 模型提供实用洞察。
automatic essay scoringmachine learningpredictive accuracybiasgeneralizability
发现论文，激发创造
  • 非母语学习者文章的自动评估：探究语言特征的作用

    本文探讨了使用不同的语言学特征在自动写作评分中预测性能的问题。研究结果表明，虽然使用这些特征可以得到良好的预测模型，但每个数据集的最优特征不同。

    Dec, 2016

  • 使用微调和多元回归的自动作文多维评分

    我们开发了两个模型，通过对两个大型数据集进行微调和其他策略，自动评分英文文章的多个维度，结果显示我们的系统在精确度、F1 得分和 Quadratic Weighted Kappa 三个标准下取得了卓越的性能，并且在整体评分中优于现有方法。

    Jun, 2024

  • Prompt - 和 Trait 感知的跨 Prompt 文章 Trait 评分

    本文提出一种鲁棒的模型来预测各种特征分数，该模型考虑了文章是否符合题意，在不同题目下进行得分，使用文学 - 题意注意力机制编码文章，使用主题建模机制提取主题一致性特征，并使用特征相似损失函数计算多特征评分结果。实验证明了该模型在所有提示和特征方面的最先进水平。

    May, 2023

  • H-AES：针对印地语的自动化作文评分

    研究了使用自然语言处理 (NLP) 进行自动文章评分 (AES) 在英语中被广泛探索，而在印地语等低资源语言中尚未被探索的现状，并在印地语领域复现和比较了 AES 的最新方法。

    Feb, 2023

  • 针对对抗性输入的神经自动化论文评分和连贯性建模

    研究 AES 中的对手输入问题，提出了基于神经网络的局部连贯模型，与现有 AES 模型联合训练，实现了对对手输入的有效识别，从而提高了神经作文评分模型的准确性。

    Apr, 2018

  • FABRIC：论文自动评分与反馈生成

    FABRIC 是一个自动化生成学生英语写作作文得分、具体基于规则的得分和改进建议的流水线系统，该系统在指导下选择了用于具体得分的规则，并通过实际数据集和改进策略显著提升模型准确性，最终经由教育专家和学生评价得分和建议的有效性。

    Oct, 2023

  • 从自动化到增强：大语言模型提升作文评分领域

    研究调查了大型语言模型（LLMs），特别是 GPT-4 和经过精细调整的 GPT-3.5 作为自动作文评分（AES）系统的工具的有效性。实验结果显示 LLM-based AES 系统具有卓越的准确性、一致性、泛化能力和可解释性，并超越传统评分模型，同时也提高人工评分员的表现。

    Jan, 2024

  • 自动作文评分的深度学习架构

    基于循环神经网络和卷积神经网络的自动评测系统在 8 个数据集上实验表明，本系统在自动评测方面具有显著的优势。

    Jun, 2022

  • 基于 Transformer 的联合建模：自动作文评分与离题检测

    提出了一种无监督技术的自动化开放式论文评分模型，可以同时评分论文并检测离题的论文。该模型使用了一种新颖的主题正则化模块（TRM），可连接在变换器模型之上，并使用了一种混合损失函数进行训练。训练后，该模型还用于计算离题论文检测的马氏距离分数。实验评估结果表明，该方法在离题检测和主题评分的两个论文评分数据集上优于基线和先前的传统方法，并且对于检测可能的人类级扰动具有鲁棒性。

    Mar, 2024

  • 巴西场景下的自动作文评分

    本文提出了一种新颖的面向巴西全国高等教育入学考试（ENEM）中葡语作文的自动评分（AES）算法，解决了传统人工评分系统中的挑战。该方法利用先进的深度学习技术，紧密对齐人工评分标准，以评估大量学生作文的效率和可扩展性为目标。该研究不仅解决了巴西教育评估中手动评分的物流和财务约束，还承诺在评分中提高公平性和一致性，是应用 AES 在大规模学术环境中迈出的重要一步。

    Dec, 2023