Sep, 2024

短语级对抗训练以减轻神经网络自动作文评分中的偏见

HTML
PDF
TL;DR本研究解决了自动作文评分（AES）系统因数据代表性不足而导致的评分偏见和鲁棒性不足的问题。提出了一种模型无关的短语级对抗方法，通过生成对抗性作文集来增强AES模型的表现。实验结果表明，该方法在面对对抗性样本时显著提高了AES模型的性能。
发现论文，激发创造
  • 针对对抗性输入的神经自动化论文评分和连贯性建模

    研究AES中的对手输入问题，提出了基于神经网络的局部连贯模型，与现有AES模型联合训练，实现了对对手输入的有效识别，从而提高了神经作文评分模型的准确性。

    Apr, 2018

  • 语言模型与自动化文章评分

    本文通过比较两种强大的语言模型BERT和XLNet以及传统模型（词袋和LSTM），阐述了其神经网络架构，并使用线性代数符号和图表解释了transformer机制构架的优势，最终在Kaggle AES dataset中实现了超出人类水平的准确度。

    Sep, 2019

  • 关于形容词和副词的对抗性使用：自动短答案评分中的作弊行为

    本研究通过黑盒对抗攻击，揭示了当前自动化评分系统在处理短答案时面临的自然语言歧义和词性多样性问题，并透露了被任意操纵数据的系统的可利用漏洞。实验发现黑盒攻击可以使预测准确率降低 10 到 22 个百分点，从而提出了实际中更安全使用自动评分系统的建议。

    Jan, 2022

  • 使用反向翻译文章和调整分数来提高自动化论文评分的性能

    本文提出了一种使用回译和分数调整来增加论文-评分对数目的方法，并将其应用于Automated Student Assessment Prize数据集进行扩充，通过使用先前工作中的模型对增强数据的有效性进行了评估，并使用长短期记忆进行了性能评估，该模型广泛用于自动文章评分。使用增强数据来训练模型可以提高模型的性能。

    Mar, 2022

  • 自动作文评分的深度学习架构

    基于循环神经网络和卷积神经网络的自动评测系统在8个数据集上实验表明，本系统在自动评测方面具有显著的优势。

    Jun, 2022

  • 通过对抗权重扰动和特定度量注意力池化增强论文评分

    通过数据科学技术（包括机器学习、自然语言处理和教育数据分析），利用自然语言处理的BERT相关技术改进针对英语学习者（ELLs）的自动化反馈工具，以提高ELLs的写作能力评估。

    Jan, 2024

  • 揭示自动化作文评分的图景：准确性、公正性和普适性的综合研究

    我们的研究旨在揭示自动论文评分（AES）模型的准确性、公平性和泛化能力之间的复杂关系，为开发真实教育中的有效AES模型提供实用洞察。

    Jan, 2024

  • 隐匿论文代写：AI生成学生论文检测的对抗性评估

    构建了AIG-ASAP数据集，利用文本扰动方法生成高质量的学生论文，评估当前AIGC检测器在该数据集上的性能，发现现有检测器容易受到自动对抗攻击的规避，强调需要更准确、更稳健的方法来检测教育领域中的AI生成学生论文。

    Feb, 2024

  • 基于Transformer的联合建模：自动作文评分与离题检测

    提出了一种无监督技术的自动化开放式论文评分模型，可以同时评分论文并检测离题的论文。该模型使用了一种新颖的主题正则化模块（TRM），可连接在变换器模型之上，并使用了一种混合损失函数进行训练。训练后，该模型还用于计算离题论文检测的马氏距离分数。实验评估结果表明，该方法在离题检测和主题评分的两个论文评分数据集上优于基线和先前的传统方法，并且对于检测可能的人类级扰动具有鲁棒性。

    Mar, 2024

  • 使用微调和多元回归的自动作文多维评分

    我们开发了两个模型，通过对两个大型数据集进行微调和其他策略，自动评分英文文章的多个维度，结果显示我们的系统在精确度、F1得分和Quadratic Weighted Kappa三个标准下取得了卓越的性能，并且在整体评分中优于现有方法。

    Jun, 2024