本文介绍 ADAIO 团队参加了 Building Educational Applications (BEA) 2023 共享任务的系统，并阐述了使用 OpenAI GPT-3 和设计不同提示来生成符合对话教师回答的教师生成响应的基线模型的评估过程。在使用 OpenAI text-davinci-003 模型进行少量提示的基础上，我们的系统获得了第二名，结果凸显了大型语言模型，特别是 OpenAI 的 GPT-3 在 AI 教师角色中的少量学习能力。

Jun, 2023

通过评估多个基准生成模型在教育对话中提供信息和帮助学生的能力，本研究旨在模拟一个有知识的老师的角色，并发现 GPT-4 在教师 - 学生聊天记录子集上的优越性，测量标准是 BERTScore 和 DialogRPT，同时注意到采样、代表性和对话完整性等数据集特征对微调模型的一般化能力造成了显著挑战，最终强调了对这些生成模型进行评估的需求，其中评估标准不仅依赖于对话连贯性和匹配的语言建模分布，而且还依赖于模型展示教学技巧的能力。

Jul, 2023

本文探讨了如何测试最先进的生成模型（如 Blender 和 GPT-3）是否是良好的人工智能老师，报告了首次尝试的结果，发现即使最好的对话代理程序（尤其是 Blender）在对话吸收方面表现出色，但在几个教育维度上（尤其是有益性方面）与真正的教师相比明显更差。

May, 2022

该调查研究了生成性人工智能模型在教育领域的潜在应用和影响，并就教育环境中的实际应用、挑战和新兴趋势进行了综合和严格的评估，旨在为人工智能与教育之间的关系作出贡献。

Nov, 2023

本研究借鉴自然语言处理和大型语言模型相结合的方法，采用自然文本提示来制作课程内容，有效提高了儿童好奇心问题的生成能力，同时发现开放式训练内容更适合培养好奇心问题发现的技能。

Nov, 2022

本文探讨了预训练语言模型在生成目标导向对话方面的潜力，并通过 ChatGPT 在三类目标导向对话、两种生成模式和两种语言的实验中进行了评估，结果表明生成的对话和注释质量与人类相当。

May, 2023

本研究系统评估了两种模型 (基于 GPT-3.5 的 ChatGPT 和 GPT-4)，并将它们与人类导师在各种情形下的表现进行比较。我们使用五个 Python 编程问题和来自在线平台的真实有 bug 程序进行评估，并使用基于专家的注释进行评估。结果表明，GPT-4 明显优于 ChatGPT，并在某些场景下接近人类导师的表现，但在某些情况下仍表现不佳。

Jun, 2023

在本文中，我们通过提交 60 个提问并基于三项机器翻译评分标准（BLEU，METEOR 和 ROUGE）对 ChatGPT 的回答进行了分析，结果显示出与人类典型反应相比，ChatGPT 在回复和翻译方面的能力虽然显著，但仍有所欠缺。

Feb, 2023

调查显示，超过一半的受访教师（35 位）中有 59% 表示使用生成人工智能（GenAI）进行教学，尤其是大型语言模型（LLMs），然而 55% 的受访者认为应该制定相关法规来规范 GenAI 的使用，尤其是在准确性和作弊上存在最大的担忧。

Apr, 2024

ChatGPT 是一种自然语言处理工具，正在革命工程教育和技术与学生、教职员工之间的关系，对此进行了问卷调查，以测量 ChatGPT 对学生、教职员工的影响，并将该调查作为技术报告与其他大学和实体分享。

Apr, 2023