本研究使用由10 million 問題-答案組成的大型多語言數據集，展示了對Transformer模型的微調可以應用於複雜數據集的自動評分，並討論了評分的信任和倫理問題。透過人工介入自動評分的過程，我們展示了如何提高自動化評分答案的準確性，並實現了相當於助教的準確性。同時，我們提出了一種有效的方法讓老師控制系統出現的錯誤類型，並且有效地驗證自動評分器在個別考試上的表現接近預期的表現。

Jan, 2022

本文对基于大型语言模型的教育技术创新进行了系统文献综述和理论分析，并提出了以人为本的开发推荐，以解决基于大型语言模型的教育任务自动化可能带来的实际和伦理挑战。

Mar, 2023

研究探讨了大型语言模型（LLMs），例如ChatGPT在考试中的表现及对评估的影响，并提出了创建LLM抗拒力考试的指南，旨在确保评估的公正性和准确性。

Apr, 2023

利用Large Language Models (LLMs)和encoder-based Semantic Textual Similarity (STS)模型对编程领域学生解答的自动评估进行了比较，发现LLMs在少样本和思维链模式下与fine-tuned encoder-based模型的性能相当。

Dec, 2023

研究调查了大型语言模型（LLMs），特别是GPT-4和经过精细调整的GPT-3.5作为自动作文评分（AES）系统的工具的有效性。实验结果显示LLM-based AES系统具有卓越的准确性、一致性、泛化能力和可解释性，并超越传统评分模型，同时也提高人工评分员的表现。

Jan, 2024

使用参数高效微调（PEFT）方法中的量化模型，通过细调大型语言模型（LLMs）自动为短答案和论文分配连续数值评分以及生成相关反馈，达到高准确性且成本和延迟相对较低。

May, 2024

通过基于大规模的大学课程考试数据训练的神经网络模型，在历史考试数据上的实验证明了自动化简短回答评分系统的高准确性和一致性，这为减少人为主观性、改善评分一致性以提高公正性提供了有前途的解决方案。

May, 2024

我们提出了一个基于大型语言模型的评分系统，包括开发评分标准，提供准确一致的得分和定制化反馈，以及进行后评估，并在新的数据集上进行了广泛实验，验证了我们的方法的有效性。

May, 2024

提供反馈在教育环境中至关重要，该论文提出一种自动评分的新方法，通过引入大型语言模型进行反馈生成，以增强实际教育环境中的教学质量。

Jun, 2024

本研究解决了传统评估指标在评估大型语言模型生成的自由形式文本时存在的局限性。我们提出了一种参考引导裁决的方法，通过多种大型语言模型作为评审进行更可靠的评估，显著提高了与人类判断的一致性。实验结果表明，该方法有效且可扩展，为生成式人工智能的自动评估提供了新思路。

Aug, 2024