Jun, 2022

平衡成本和质量：探索人在环中的框架，用于自动化短答案评分

PDF
TL;DR本文介绍了一种人与深度学习模型相结合的方法，用于保证短文评分的质量和降低评分成本。通过引入可靠度估计方法来强制高质量的自动评分结果，同时把低可靠度的评分结果交给人类评分者来完成，实现了自动评分和人类评分者的协同作业。实验表明，该方法可以达到目标评分质量。
short answer scoringdeep learninghuman-in-the-loopconfidence estimationeducation
发现论文，激发创造
  • 使用 AutoSAS 进行评分 —— 一种用于短答案评分的自动化系统

    本文介绍了一个名为 AutoSAS 的快速、可扩展和准确的自动短回答评分系统，该系统使用诸如词汇多样性、Word2Vec、提示和内容重叠等功能来实现其性能，并通过使用 Automated Student Assessment Prize 短回答评分（ASAP-SAS）公共数据集进行了评估，其表现与人类相当。

    Dec, 2020

  • 短答数学题评分人偏好的建模与分析

    本研究探讨了基于监督学习的自动评分方法中，考虑到不同人评分偏好的各种模型。研究采用短答数学回答数据集进行了定量实验，并分析了各个评分人的个体偏好。结果表明，采用考虑评分者偏好的模型能够提高自动评分准确性。

    Jun, 2023

  • 超越人类主观性与错误：一种新的人工智能评分系统

    通过基于大规模的大学课程考试数据训练的神经网络模型，在历史考试数据上的实验证明了自动化简短回答评分系统的高准确性和一致性，这为减少人为主观性、改善评分一致性以提高公正性提供了有前途的解决方案。

    May, 2024

  • 利用单次提示和文本相似性评分模型进行简答评分

    本文研究了一种自动短答案评分（ASAG）模型，提供了分析性得分和最终的整体得分。使用基于大型语言模型（LLM）的一次提示和文本相似性评分模型，通过小型手动注释数据集进行领域适应性，获得了较高的准确性和加权 kappa 值，从而在公开 ASAG 数据集的子集上取得了重大进展。

    May, 2023

  • 基于上下文元学习的自动短数学答案评分

    本文研究了自动短答案评分问题，提出了一种新的基于 MathBERT 及上下文学习方法的框架，并在真实数据集上进行了评估，证明该框架对于之前未见过的数学问题的表现优于现有方法。

    May, 2022

  • 实时自动答案评分

    本文旨在通过大数据分析和自动评分技术，解决开放式问答评估所面临的高成本和低效率的困难，构建一个能够实时记录学生答题进程并进行评分的系统，以改善教育质量。

    Oct, 2022

  • 人工与合成测试数据以及往返传送对偏见情感分析系统评估的影响

    通过评估情感分析系统（SAS）在黑盒环境中，加入人工生成的聊天机器人数据集以及往返翻译设置，我们发现这些设置更真实地展现了 SAS 在现实中的表现，揭示了 SAS 在聊天机器人数据中存在更多偏见，而使用西班牙语和丹麦语作为中介语言往返翻译能减少人工生成数据中的偏见（最多可减少 68%），而在合成数据中则会增加偏见！这些发现将帮助研究人员和从业人员完善 SAS 测试策略，增强对 SAS 的信任，因为 SAS 被认为是全球性更为关键的应用的一部分。

    Jan, 2024

  • 神经网络自动文本评分

    提出一种基于 Long-Short Term Memory 网络的自动化文本评分框架，该框架通过学习特定单词对文本评分的贡献来构建单词表示，并且能够在可视化神经网络的启发下，识别出文本中更具区分性的区域，以提高模型可解释性。

    Jun, 2016

  • 短文、多语言、多类型答案的可信自动评分

    本研究使用由 10 million 問題 - 答案組成的大型多語言數據集，展示了對 Transformer 模型的微調可以應用於複雜數據集的自動評分，並討論了評分的信任和倫理問題。透過人工介入自動評分的過程，我們展示了如何提高自動化評分答案的準確性，並實現了相當於助教的準確性。同時，我們提出了一種有效的方法讓老師控制系統出現的錯誤類型，並且有效地驗證自動評分器在個別考試上的表現接近預期的表現。

    Jan, 2022

  • 利用因果关系分析评分情感分析系统的偏差

    本文介绍了一种评估情感分析系统漏洞的新方法，通过在受保护变量上控制调节输入以测试输出的情感是否对其敏感，给 SASs 分配标签（评分），以此评估其对输入变化的强度和鲁棒性，提高公平性，尤其对于开发人员寻找有效的信息来构建更大型的 AI 系统非常有用。

    Feb, 2023