评估 ChatGPT 对 ELL 作家的连贯性和凝聚力的反馈
本研究通过 Coh-Metrix 比较了 ChatGPT 和 CIE 学生在叙事主题上的写作表现,结果表明,在初始版本中,ChatGPT 在叙述性、词汇具体性和指代连贯性方面优于人类作家,但在句法简单性和深度连贯性方面劣于人类作家。经过多次修订后,ChatGPT 在句法简单性方面得到了改善,但在深度连贯性方面仍远不如 CIE 学生的写作。另外,讨论组成分的相关性分析表明,ChatGPT 和人类作家的叙事性与指代连贯性呈正相关,但各组内的相关性不同。
Mar, 2023
通过对聊天机器人 ChatGPT、教师反馈和自我反馈这三种不同反馈方法的比较研究,发现教师反馈和自我反馈在整体翻译质量和语言特征方面均优于 ChatGPT 反馈,但 ChatGPT 反馈在提高词汇能力和修辞连贯性方面表现出优势。因此,ChatGPT 作为辅助资源可有效补充传统教师指导下的翻译实践。
Sep, 2023
本研究探讨了使用生成式 AI 模型,特别是 ChatGPT,分析团队学习环境中学生评价的能力,并证实其在准确识别评价内容方面具备潜在的价值,为教育研究中 AI 模型的应用做出了有益的贡献。
May, 2023
使用 ChatGPT 为实践医疗专业人员提供个性化形成性反馈,通过一小时 Zoom 分组活动教授数字健康计划的评估计划制定,调查表显示大多数受访者对反馈持积极看法,讨论范围广泛,但只有三个小组利用了反馈循环改进评估计划。未来教育者可以从我们的经验中学习,包括设计提示、提供使用 ChatGPT 的指导说明和支持最佳 ChatGPT 群组互动。未来研究应该探索 ChatGPT 在群体动态中的影响,并提出 ChatGPT 在协作学习中的设计原则。
Nov, 2023
本文评估了 AI 语言模型 ChatGPT 在语法纠错任务上的表现,通过与 Grammarly 和 GECToR 等商业和先进模型比较,发现 ChatGPT 在自动评估指标上表现较弱,但经过人工评估,发现 ChatGPT 更倾向于修改某些短语或句子结构而仍保持语法正确性,这表明自动评估指标低估了 ChatGPT 工具的潜力。
Mar, 2023
本文旨在探究 ChatGPT 在语法错误修复领域的潜力,通过设计零样本连贯性(CoT)和少样本 CoT 方案来进行评估,并通过在不同语言以及英语文件级别 GEC 测试集中的表现和人工评估来展示该模型的优秀的错误检测能力和非常流利的纠错结果。此外,作者强调其在低资源和多语言 GEC 任务中的潜力,但是需要进一步分析各种类型的跨句子错误,并展示 ChatGPT 对于某些类型的错误仍然存在一定的局限性。
Apr, 2023
探究使用 ChatGPT-3 作为写作辅助工具与否对学生的论文写作表现的影响,结果表明,在大多数参数下,控制组优于实验组。
Feb, 2023
研究发现,提供具体及时的反馈可以提高人类导师的表现,但由于评估导师表现的时间消耗性质,给出具体及时的反馈存在挑战,然而使用大语言模型 (如 AI-chatbot ChatGPT) 来为实际应用中的导师提供建设性反馈有潜力。 这项工作在导师 - 学生模式下评估了由 GPT-4 生成的 30 次对话,并将两种不同的提示方法进行比较:零 - shot 思维链和少 - shot 思维链,以识别基于五个标准的有效赞扬的具体组成部分,并通过与人类评分员的结果进行比较来评估 GPT-4 是否能够准确识别每个赞扬标准。研究发现,零 - shot 和少 - shot 思维链方法产生了相似的结果。 GPT-4 在识别导师提供具体和即时赞扬的情况下表现良好,但在识别导师提供真诚赞扬的能力方面表现不佳,尤其是在没有提供真诚导师赞扬语句的零 - shot 提示场景中。未来的研究将着重于增强提示工程,开发更普遍的导师评分表,并使用实际的导师对话来进行评估。
Jul, 2023
最近几年,人工智能技术的迅猛发展,特别是诸如 ChatGPT 等大型语言模型的出现,为教育领域的应用提供了重要前景。然而,对于 LLMs 来有效地履行教学角色以促进学生学习,从而实现与人类教育工作者类似的对话式教学情景,仍然是一个非常有价值的研究课题。本研究招募了 34 名本科生作为参与者,随机分成两组。实验组使用 ChatGPT 进行对话式教学,而对照组与人类教师互动。两组学习了信息相关课程 “数字图像处理” 中的直方图均衡化单元。研究结果显示,两组在记忆测试中得分相当。然而,与 ChatGPT 交互的学生在迁移测试中表现较差。脑电图数据显示,与 ChatGPT 互动的学生展示出更高水平的认知活动,表明 ChatGPT 可以帮助学生建立知识基础并刺激认知活动。然而,它在促进学生知识应用和创造力方面的优势不显著。基于研究结果,可以明确 ChatGPT 在信息相关课程的对话式教学中不能完全胜任教学任务。结合 ChatGPT 与传统人类教师可能是更理想的方法。两者的协同使用可以为学生提供更全面的学习支持,从而提高教学质量。
Mar, 2024
本文探讨使用 ChatGPT 模型进行学生答案自动评分和理由生成的方法,并通过引入批评模块,过滤 ChatGPT 的不正确输出并细调较小的语言模型,在学生答案评分和理由生成方面实现了更好的性能,并且能够提供更详细和易理解的评估结果,从而提供了一个可行的解决方案,实现了可解释的自动评估教育。
May, 2023