通过分析 GPT-4 在高等教育的 Python 编程课程中生成的多项选择题（MCQs），我们发现 GPT-4 能够产生具有清晰语言、单一正确选项和高质量干扰项的 MCQs，并且这些生成的题目与学习目标高度一致。这些研究结果对于希望充分利用最先进生成模型来支持多项选择题的编写工作的教育工作者具有潜在价值。

Dec, 2023

使用大型语言模型自动生成填空题，并评估其有效性和适用性，通过生成适当的句子和选择合适的答案，以提高学生的词汇掌握水平。

Mar, 2024

作者分析了三种不同的 GPT 模型（生成式预训练转换模型）在回答包括程序代码片段的多选题方面的有效性，发现包含代码片段的题目更加困难，这个发现可以帮助编程教育工作者适应他们的教学方法和评估，为学习者提供有意义的辅助。

Mar, 2023

通过使用 GPT-4 模型，我们的研究建立一个解释性反馈系统，用于训练初级导师。研究结果表明，该模型有效地识别出三个训练课程中正确 / 错误的学员反馈，并将错误反馈转化为期望的反馈，其性能达到与人类专家相当的水平。

May, 2024

本文提出一种多选题智能生成系统，利用预训练的语言模型，根据规定的性能指标，通过读取理解语料库来生成语法准确，具有可回答性、多样性和复杂性的问题及选项。

Sep, 2022

Evaluating multiple-choice questions often overlooks deeper question design flaws, but the SAQUET tool effectively automates the assessment process using large language models, word embeddings, and Transformers, achieving a high accuracy rate in detecting flaws and showcasing potential for improving educational assessments.

May, 2024

ChatGPT 对测试问题的回答质量以及如何检测测试问题是否可由 ChatGPT 正确回答的方法是本研究的重要问题。我们通过对 MedMCQA 数据集中的问题生成 ChatGPT 的回答，并分析了不同类型问题中 ChatGPT 回答准确度较低的情况。此外，我们还开发了一个基本的自然语言处理模型，用于在一组问题或样本考试中识别出对 ChatGPT 最容易攻击的问题。这个工具可以帮助考试制作者避免出现易受 ChatGPT 攻击的测试问题。

Feb, 2024

利用模拟医学考题的方法评估大型语言模型在医学领域的表现，发现传统的多项选择题评估方法可能无法准确测量其临床知识和推理能力，而更强调其模式识别技能。这项研究强调了需要更强劲的评估方法，以更好地评估大型语言模型在医学背景下的真实能力。

Jun, 2024

该研究通过应用大型语言模型（LLMs），特别是 GPT-3.5 和 GPT-4，结合思维链（CoT），对学生科学评估中的写作回答进行自动评分的应用进行了调查，并专注于克服先前限制研究人员和教育工作者使用自动评估工具的可访问性、技术复杂性和解释性方面的挑战。研究结果表明，GPT-4 相对于 GPT-3.5 在各种评分任务中表现出更高的性能，并且使用 CoT 能够提高评分准确性，特别是当与项目描述和评分标准一起使用时。

Nov, 2023

研究了 LLMs，特别是 GPT-3.5 和 GPT-4，如何根据主动学习原则为九年级数学提供量身定制的问题。结果显示，GPT-4 能够生成准确、具有挑战性的问题，并且 GPT-3.5 在从 GPT-4 接受指导后在处理更复杂问题方面有了明显改善，从而突显了 LLMs 模拟和增强主动学习场景的潜力，为个性化教育中的人工智能提供了有前景的途径，需要在不同的教育环境中进一步探索。

Jun, 2024