COLINGMar, 2024

基于 Transformer 的联合建模：自动作文评分与离题检测

PDF
TL;DR提出了一种无监督技术的自动化开放式论文评分模型，可以同时评分论文并检测离题的论文。该模型使用了一种新颖的主题正则化模块（TRM），可连接在变换器模型之上，并使用了一种混合损失函数进行训练。训练后，该模型还用于计算离题论文检测的马氏距离分数。实验评估结果表明，该方法在离题检测和主题评分的两个论文评分数据集上优于基线和先前的传统方法，并且对于检测可能的人类级扰动具有鲁棒性。
automated essay scoringoff-topic responseunsupervised techniqueautomated open essay scoringmahalanobis distance score
发现论文，激发创造
  • 使用微调和多元回归的自动作文多维评分

    我们开发了两个模型，通过对两个大型数据集进行微调和其他策略，自动评分英文文章的多个维度，结果显示我们的系统在精确度、F1 得分和 Quadratic Weighted Kappa 三个标准下取得了卓越的性能，并且在整体评分中优于现有方法。

    Jun, 2024

  • 揭示自动化作文评分的图景：准确性、公正性和普适性的综合研究

    我们的研究旨在揭示自动论文评分（AES）模型的准确性、公平性和泛化能力之间的复杂关系，为开发真实教育中的有效 AES 模型提供实用洞察。

    Jan, 2024

  • 多特征作文打分的自回归得分生成

    通过自动回归多特征分数（ArTS）的预测来取代传统的编码器方法，使用预训练的 T5 模型来在多特征自动化作文评分中提供更高的效能。

    Mar, 2024

  • 针对对抗性输入的神经自动化论文评分和连贯性建模

    研究 AES 中的对手输入问题，提出了基于神经网络的局部连贯模型，与现有 AES 模型联合训练，实现了对对手输入的有效识别，从而提高了神经作文评分模型的准确性。

    Apr, 2018

  • 使用神经网络注意力分数进行基于来源的文章评分的自动主题成分提取

    本文提出了一种方法（使用关注层的中间输出）来将 AWE 与神经 AES 联系起来，通过提取代表源文本证据的主题组件（TCs）来提供支持。 结果表明，使用自动或手动构建的 TC，性能是相当的

    Aug, 2020

  • Prompt - 和 Trait 感知的跨 Prompt 文章 Trait 评分

    本文提出一种鲁棒的模型来预测各种特征分数，该模型考虑了文章是否符合题意，在不同题目下进行得分，使用文学 - 题意注意力机制编码文章，使用主题建模机制提取主题一致性特征，并使用特征相似损失函数计算多特征评分结果。实验证明了该模型在所有提示和特征方面的最先进水平。

    May, 2023

  • BERT 在自动化论文评分中的应用：多尺度论文表示的联合学习

    本论文介绍了一种可联合学习的针对 BERT 的多尺度文章表示法，并且采用了多种损失函数和跨领域文章的迁移学习，实验结果表明我们的方法在 ASAP 任务中取得了几乎所有深度学习模型中最先进的结果，并且该多尺度文章表示法在 CommonLit 可读性奖数据集上也具有良好的一般性，这表明本文提出的新型文本表示法可能是长文本任务的一种新而有效的选择。

    May, 2022

  • 非母语学习者文章的自动评估：探究语言特征的作用

    本文探讨了使用不同的语言学特征在自动写作评分中预测性能的问题。研究结果表明，虽然使用这些特征可以得到良好的预测模型，但每个数据集的最优特征不同。

    Dec, 2016

  • 基于 Transformer 模型的自动化论文评分数据增强

    本文研究使用 Transformer 模型与数据增强技术解决自动评分的问题，通过实验证明其有效性。

    Oct, 2022

  • 通过对抗权重扰动和特定度量注意力池化增强论文评分

    通过数据科学技术（包括机器学习、自然语言处理和教育数据分析），利用自然语言处理的 BERT 相关技术改进针对英语学习者（ELLs）的自动化反馈工具，以提高 ELLs 的写作能力评估。

    Jan, 2024