本论文探讨了在教学设计中利用大型语言模型（LLMs），尤其是GPT-4的全面应用。我们关注以缩小理论教育研究和实际实施之间的差距为目的，通过扩大基于证据的教学设计专业知识的规模。本文讨论了AI驱动内容生成的益处和局限性，强调人为监督保证教育材料质量的必要性。我们通过两个详细的案例研究阐释了这一工作，其中应用GPT-4创建了复杂的高阶评估和不同课程的主动学习组成部分。根据我们的经验，我们提供有效使用LLM的最佳实践，如利用模板，微调，处理意外输出，实施LLM链，引用参考文献，评估输出，创建量表，评分和生成干扰项。我们还分享了我们对未来的推荐系统的愿景，该推荐系统可以根据用户的独特教育背景，定制GPT-4从教育研究中提取教学设计原则，并创建个性化的、具备证据支持的策略。本研究有助于理解和最大限度地利用AI驱动的语言模型潜力，以增强教育成果。

May, 2023

利用人工智能模型替代人类作为教师，通过研究生成学生成绩的修订，构建了Curriculum Instruction TunING (CITING)方法，提高了大型语言模型的表达、深度和全面性能，在GPT-4评估上取得了79.4%的胜率。

Oct, 2023

这篇研究通过引入一个具有挑战性的元评估基准LMMBar，调查了大型语言模型(LLMs)在评估指导遵循生成文本方面的效力，发现不同评估器对LMMBar的性能表现不同，最高分的评估器仍有改进的空间，并提出了一套新颖的提示策略来缩小LLM和人类评估器之间的差距。通过LLMBar希望提供对LLM评估器的更多洞察，并促进未来开发更好的指导遵循模型的研究。

Oct, 2023

基于全面的模型性能至诚态度，我们系统调查了数据量、参数规模和数据构建方法对各种能力发展的影响，并通过新的40k人工指导的指令数据集进行了数百个模型检查点（7b到33b）的全面指导优化。我们的研究揭示了三个主要发现：（i）尽管数据量和参数规模直接影响模型的整体性能，但某些能力更容易受到其增加的影响，并且可以通过有限数据进行有效训练，而某些能力对这些变化高度抵抗。（ii）人工指导的数据在效率上明显优于GPT-4的合成数据，并且可以随着数据量增加不断提高模型性能，而合成数据则无法达到这种效果。（iii）指令数据带来了强大的跨能力泛化性，域外数据的评估结果反映了前两个观察结果。此外，我们还展示了这些发现如何指导更高效的数据构建，从而在公共基准测试中实现实际性能的提升。

Oct, 2023

研究调查了大型语言模型（LLMs），特别是GPT-4和经过精细调整的GPT-3.5作为自动作文评分（AES）系统的工具的有效性。实验结果显示LLM-based AES系统具有卓越的准确性、一致性、泛化能力和可解释性，并超越传统评分模型，同时也提高人工评分员的表现。

Jan, 2024

我们对基于文本重叠和大型语言模型判断的自动化方法在广泛任务和跨语言环境中的可靠性进行了研究，发现自动评估方法与人类评估者之间的相关性在任务类型不同的情况下存在相当大的变异性。尽管自动评估方法在特定条件下可以近似人类判断，但其可靠性高度依赖于上下文。这些发现强化了我们在开发和评估面向指导的大型语言模型时如何应用和解释自动化方法的理解。

Feb, 2024

本文研究了语言模型在数学能力方面的评估，特别是其识别数学技能和概念的能力。研究贡献了两个数据集，揭示了语言模型在关联数学题与标准时的不足，以及生成不完全符合标准的问题。本研究的关键发现是，语言模型在映射问题与教育标准时表现出显著的差距，对今后教育技术的发展具有重要影响。

Aug, 2024

本研究探讨了语言模型在数学能力方面的评估缺口，提出了通过教育标准来分析语言模型理解数学技能的能力。我们开发了两个数据集，发现语言模型在标记和验证与问题相关的标准时存在困难，并且生成的问题往往与标准不完全一致。这项研究为理解语言模型解决某些数学问题的难易程度提供了新的视角。

Aug, 2024

本研究针对当前指令调优中普遍存在的假设，即更强的模型被视为更强的教师，进行了挑战。通过在五个基础模型和二十个响应生成器上的广泛实验，发现更大更强的模型并不总是适合教育较小模型。为此，我们提出了一种新的度量标准“兼容性调整奖励（CAR）”，其在多个实验中表现优于现有基线。

Nov, 2024

本研究针对指令调优领域的一个普遍假设进行探讨，即较大或更强的模型是较小模型的更强教学者。通过对多个模型和响应生成器的广泛实验，研究发现此假设并不成立，并提出了一种新颖的度量标准“兼容性调整奖励(CAR)”，能够更准确地评估响应生成器的效果，实验结果表明CAR优于几乎所有基线指标。

Nov, 2024