Feb, 2024

DREsS: 英语外语写作基于标准评分的数据集

PDF
TL;DRDREsS 是一个大规模的基于评分标准的自动作文评分数据集，包含 DREsS_New、DREsS_Std 和 DREsS_CASE 三个子数据集。该研究还提出了一种基于损坏的增强策略 CASE，通过生成 20K 个合成样本来改善基线结果 45.44％。DREsS 将为进一步研究提供更准确、实用的 EFL 写作教育自动评分系统。
发现论文，激发创造
  • FABRIC：论文自动评分与反馈生成

    FABRIC 是一个自动化生成学生英语写作作文得分、具体基于规则的得分和改进建议的流水线系统，该系统在指导下选择了用于具体得分的规则，并通过实际数据集和改进策略显著提升模型准确性，最终经由教育专家和学生评价得分和建议的有效性。

    Oct, 2023

  • 使用微调和多元回归的自动作文多维评分

    我们开发了两个模型，通过对两个大型数据集进行微调和其他策略，自动评分英文文章的多个维度，结果显示我们的系统在精确度、F1 得分和 Quadratic Weighted Kappa 三个标准下取得了卓越的性能，并且在整体评分中优于现有方法。

    Jun, 2024

  • 非母语学习者文章的自动评估：探究语言特征的作用

    本文探讨了使用不同的语言学特征在自动写作评分中预测性能的问题。研究结果表明，虽然使用这些特征可以得到良好的预测模型，但每个数据集的最优特征不同。

    Dec, 2016

  • 揭示自动化作文评分的图景：准确性、公正性和普适性的综合研究

    我们的研究旨在揭示自动论文评分（AES）模型的准确性、公平性和泛化能力之间的复杂关系，为开发真实教育中的有效 AES 模型提供实用洞察。

    Jan, 2024

  • 自动作文评分的深度学习架构

    基于循环神经网络和卷积神经网络的自动评测系统在 8 个数据集上实验表明，本系统在自动评测方面具有显著的优势。

    Jun, 2022

  • 巴西场景下的自动作文评分

    本文提出了一种新颖的面向巴西全国高等教育入学考试（ENEM）中葡语作文的自动评分（AES）算法，解决了传统人工评分系统中的挑战。该方法利用先进的深度学习技术，紧密对齐人工评分标准，以评估大量学生作文的效率和可扩展性为目标。该研究不仅解决了巴西教育评估中手动评分的物流和财务约束，还承诺在评分中提高公平性和一致性，是应用 AES 在大规模学术环境中迈出的重要一步。

    Dec, 2023

  • BERT 在自动化论文评分中的应用：多尺度论文表示的联合学习

    本论文介绍了一种可联合学习的针对 BERT 的多尺度文章表示法，并且采用了多种损失函数和跨领域文章的迁移学习，实验结果表明我们的方法在 ASAP 任务中取得了几乎所有深度学习模型中最先进的结果，并且该多尺度文章表示法在 CommonLit 可读性奖数据集上也具有良好的一般性，这表明本文提出的新型文本表示法可能是长文本任务的一种新而有效的选择。

    May, 2022

  • H-AES：针对印地语的自动化作文评分

    研究了使用自然语言处理 (NLP) 进行自动文章评分 (AES) 在英语中被广泛探索，而在印地语等低资源语言中尚未被探索的现状，并在印地语领域复现和比较了 AES 的最新方法。

    Feb, 2023

  • 通过对抗权重扰动和特定度量注意力池化增强论文评分

    通过数据科学技术（包括机器学习、自然语言处理和教育数据分析），利用自然语言处理的 BERT 相关技术改进针对英语学习者（ELLs）的自动化反馈工具，以提高 ELLs 的写作能力评估。

    Jan, 2024

  • 基于 Transformer 的联合建模：自动作文评分与离题检测

    提出了一种无监督技术的自动化开放式论文评分模型，可以同时评分论文并检测离题的论文。该模型使用了一种新颖的主题正则化模块（TRM），可连接在变换器模型之上，并使用了一种混合损失函数进行训练。训练后，该模型还用于计算离题论文检测的马氏距离分数。实验评估结果表明，该方法在离题检测和主题评分的两个论文评分数据集上优于基线和先前的传统方法，并且对于检测可能的人类级扰动具有鲁棒性。

    Mar, 2024