我们开发了两个模型,通过对两个大型数据集进行微调和其他策略,自动评分英文文章的多个维度,结果显示我们的系统在精确度、F1 得分和 Quadratic Weighted Kappa 三个标准下取得了卓越的性能,并且在整体评分中优于现有方法。
Jun, 2024
本论文介绍了一种可联合学习的针对 BERT 的多尺度文章表示法,并且采用了多种损失函数和跨领域文章的迁移学习,实验结果表明我们的方法在 ASAP 任务中取得了几乎所有深度学习模型中最先进的结果,并且该多尺度文章表示法在 CommonLit 可读性奖数据集上也具有良好的一般性,这表明本文提出的新型文本表示法可能是长文本任务的一种新而有效的选择。
May, 2022
本文探讨了使用不同的语言学特征在自动写作评分中预测性能的问题。研究结果表明,虽然使用这些特征可以得到良好的预测模型,但每个数据集的最优特征不同。
Dec, 2016
我们的研究旨在揭示自动论文评分(AES)模型的准确性、公平性和泛化能力之间的复杂关系,为开发真实教育中的有效 AES 模型提供实用洞察。
Jan, 2024
本文通过比较两种强大的语言模型 BERT 和 XLNet 以及传统模型(词袋和 LSTM),阐述了其神经网络架构,并使用线性代数符号和图表解释了 transformer 机制构架的优势,最终在 Kaggle AES dataset 中实现了超出人类水平的准确度。
Sep, 2019
研究 AES 中的对手输入问题,提出了基于神经网络的局部连贯模型,与现有 AES 模型联合训练,实现了对对手输入的有效识别,从而提高了神经作文评分模型的准确性。
Apr, 2018
本文提出了一种新颖的面向巴西全国高等教育入学考试(ENEM)中葡语作文的自动评分(AES)算法,解决了传统人工评分系统中的挑战。该方法利用先进的深度学习技术,紧密对齐人工评分标准,以评估大量学生作文的效率和可扩展性为目标。该研究不仅解决了巴西教育评估中手动评分的物流和财务约束,还承诺在评分中提高公平性和一致性,是应用 AES 在大规模学术环境中迈出的重要一步。
Dec, 2023
本文介绍了两个手动注释的芬兰本科学生论文数据集,旨在评估几种基于深度学习嵌入方法对支持论文评分的句子聚类的适用性。发现选择最合适的方法取决于试题和答案的性质,深度学习方法能够但不能保证在词汇重叠上的简单方法之上表现更好。
Apr, 2021
本文提出了一种方法(使用关注层的中间输出)来将 AWE 与神经 AES 联系起来,通过提取代表源文本证据的主题组件(TCs)来提供支持。 结果表明,使用自动或手动构建的 TC,性能是相当的
Aug, 2020
研究了使用自然语言处理 (NLP) 进行自动文章评分 (AES) 在英语中被广泛探索,而在印地语等低资源语言中尚未被探索的现状,并在印地语领域复现和比较了 AES 的最新方法。
Feb, 2023