人类与机器:学生生成与人工智能生成的教育内容比较
本研究对语言模型(LLMs)的理解能力进行了比较和对照,发现人类分析师和 LLMs 的分类和推理能力存在显著差异,但二者合作可能会产生协同效应,从而丰富了定性研究。
Jun, 2023
通过分析 GPT-4 在高等教育的 Python 编程课程中生成的多项选择题(MCQs),我们发现 GPT-4 能够产生具有清晰语言、单一正确选项和高质量干扰项的 MCQs,并且这些生成的题目与学习目标高度一致。这些研究结果对于希望充分利用最先进生成模型来支持多项选择题的编写工作的教育工作者具有潜在价值。
Dec, 2023
论文研究了大型语言模型(LLMs)在学术软件工程项目中的实用性,包括 AI 生成的代码、代码生成的提示以及将代码集成到代码库中的人工干预水平。研究结果表明,LLMs 在软件开发的早期阶段,特别是在生成基础代码结构和语法、错误调试方面,可以发挥重要作用。这些发现为我们提供了一个有效利用 LLMs 提高软件工程学生的生产力的框架,并强调了将教育重点转向为学生成功进行人工智能协作的必要性。
Jan, 2024
将生成式 AI(GenAI)和大型语言模型(LLMs)应用于教育可以提高教学效率,丰富学生学习。使用当前的 LLM 涉及到会话式用户界面(CUIs)用于生成材料或提供反馈,但这带来了教育者在 AI 和 CUI 领域的专业知识需求、高风险决策的道德问题以及隐私风险。为了解决这些问题,我们建议从 CUIs 过渡到通过 API 调用利用 LLMs 的用户友好应用程序。我们提出了一个将 GenAI 道德地融入教育工具的框架,并展示了其在我们的工具 Feedback Copilot 中的应用,该工具为学生作业提供个性化反馈。我们的评估结果显示了这种方法的有效性,对 GenAI 研究人员、教育者和技术人员具有重要意义。这项工作为教育中的 GenAI 未来制定了一条路线。
Apr, 2024
利用人工智能的互动场景增强课堂教学品质,包括对话自动完成、知识和风格传递,和评估人工智能生成的内容,探索多种应用和挑战,为未来研究提供清晰的道路。
May, 2023
利用语言模型作为教育专家评估不同学生群体学习成果的方法,以优化教育材料。这种方法可以复制已有的教育研究结果,如专业逆转效应和变异效应,展示了语言模型作为可靠教育内容评估者的潜力。基于此,我们介绍了一种通过一个语言模型生成教育材料,另一个语言模型作为奖励函数进行指令优化的方法,并在数学问题工作表领域应用了这一方法,以最大化学生的学习收益。人类教师对这些由语言模型生成的工作表进行评估,发现语言模型的判断与人类教师的偏好具有显著的一致性。最后,我们讨论了人类和语言模型之间的潜在分歧和自动化教学设计带来的陷阱。
Mar, 2024
人工智能在教育领域有深远的影响,特别是大型语言模型(LLMs)在智能教育(LLMEdu)中的应用,对提高教学质量、改变教育模式和调整教师角色有巨大的潜力,然而仍面临着挑战和问题。本文系统综述了 LLMEdu 的当前技术、挑战和未来发展,并介绍了 LLMs 与教育的特点以及将 LLMs 整合到教育中的好处。同时还回顾了将 LLMs 整合到教育行业的过程和相关技术的引入,并讨论了 LLMEdu 所面临的挑战和问题,以及未来优化 LLMEdu 的前景。
May, 2024
通过对人类写作文本和基于大型语言模型的生成文本进行比较研究,该论文展示了在不同文体中对于人类文本和生成文本进行分类的机器学习模型的效果,同时指出在故事写作方面识别生成文本的困难性,为未来在人工智能文本识别方面提供了启示和研究数据集。
Jul, 2023
定量分析比较人类写作的英文新闻与基于 4 个 LLMa 家族的大型语言模型 (LLM) 输出的差异,结果显示了人类文本与 AI 生成文本在多个可测量的语言维度上的差异,包括形态、句法、心理测量和社会语言方面,并揭示了 LLM 生成文本中存在更多的数字、符号和助动词,以及更多的代词,人类文本中存在的性别偏见也被 LLMs 表达出来。
Aug, 2023