通过比较 ChatGPT 和主流神经机器翻译（NMT）引擎将中文外交文本翻译成英文，本文评估了大型语言模型在翻译方面的能力。研究采用四个自动化度量和基于错误类型和六个分析指标的人工评估来检验 ChatGPT 和 NMT 引擎的翻译质量。研究结果表明，在不同的提示下，自动化度量对 ChatGPT 产生了类似的结果，而当提供翻译任务的示例或上下文信息时，人工评估者更倾向于给 ChatGPT 较高的评分。自动化度量与人工评估维度之间的两两相关性结果弱且不显著，这表明了两种翻译质量评估方法之间的差异。这些发现为 ChatGPT 作为一种可靠的机器翻译工具以及提示工程对其性能的影响提供了有价值的见解。

Jan, 2024

ChatGPT 在无具体任务训练的情况下，对于英语学习者的文章连贯性和衔接性未提供有效反馈。

Oct, 2023

最近几年，人工智能技术的迅猛发展，特别是诸如 ChatGPT 等大型语言模型的出现，为教育领域的应用提供了重要前景。然而，对于 LLMs 来有效地履行教学角色以促进学生学习，从而实现与人类教育工作者类似的对话式教学情景，仍然是一个非常有价值的研究课题。本研究招募了 34 名本科生作为参与者，随机分成两组。实验组使用 ChatGPT 进行对话式教学，而对照组与人类教师互动。两组学习了信息相关课程 “数字图像处理” 中的直方图均衡化单元。研究结果显示，两组在记忆测试中得分相当。然而，与 ChatGPT 交互的学生在迁移测试中表现较差。脑电图数据显示，与 ChatGPT 互动的学生展示出更高水平的认知活动，表明 ChatGPT 可以帮助学生建立知识基础并刺激认知活动。然而，它在促进学生知识应用和创造力方面的优势不显著。基于研究结果，可以明确 ChatGPT 在信息相关课程的对话式教学中不能完全胜任教学任务。结合 ChatGPT 与传统人类教师可能是更理想的方法。两者的协同使用可以为学生提供更全面的学习支持，从而提高教学质量。

Mar, 2024

ChatGPT 在自动化给予 Java 编程作业反馈方面的可行性进行了研究，调查结果表明学生们普遍认为 ChatGPT 反馈与 Shute 建立的形成性反馈准则相一致，他们更喜欢包含他们代码的反馈，此研究还提供了改进 ChatGPT 生成反馈的具体见解。

Dec, 2023

本研究通过 Coh-Metrix 比较了 ChatGPT 和 CIE 学生在叙事主题上的写作表现，结果表明，在初始版本中，ChatGPT 在叙述性、词汇具体性和指代连贯性方面优于人类作家，但在句法简单性和深度连贯性方面劣于人类作家。经过多次修订后，ChatGPT 在句法简单性方面得到了改善，但在深度连贯性方面仍远不如 CIE 学生的写作。另外，讨论组成分的相关性分析表明，ChatGPT 和人类作家的叙事性与指代连贯性呈正相关，但各组内的相关性不同。

Mar, 2023

本文探究了如何用 ChatGPT 辅助机器翻译，提出了多种翻译提示。实验结果表明，ChatGPT 在高资源语言翻译方面的表现与专业翻译系统相当或更好，在低资源翻译方面略逊于专业翻译系统，并在多参考文献翻译和特定领域翻译方面表现出优异的性能。 此外，我们进行了几个快速提示，表现出不同基础提示的一致改进。这项工作提供了 ChatGPT 在翻译方面仍然具有巨大潜力的实证证据。

Apr, 2023

本研究探讨了使用生成式 AI 模型，特别是 ChatGPT，分析团队学习环境中学生评价的能力，并证实其在准确识别评价内容方面具备潜在的价值，为教育研究中 AI 模型的应用做出了有益的贡献。

May, 2023

研究发现，提供具体及时的反馈可以提高人类导师的表现，但由于评估导师表现的时间消耗性质，给出具体及时的反馈存在挑战，然而使用大语言模型 (如 AI-chatbot ChatGPT) 来为实际应用中的导师提供建设性反馈有潜力。 这项工作在导师 - 学生模式下评估了由 GPT-4 生成的 30 次对话，并将两种不同的提示方法进行比较：零 - shot 思维链和少 - shot 思维链，以识别基于五个标准的有效赞扬的具体组成部分，并通过与人类评分员的结果进行比较来评估 GPT-4 是否能够准确识别每个赞扬标准。研究发现，零 - shot 和少 - shot 思维链方法产生了相似的结果。 GPT-4 在识别导师提供具体和即时赞扬的情况下表现良好，但在识别导师提供真诚赞扬的能力方面表现不佳，尤其是在没有提供真诚导师赞扬语句的零 - shot 提示场景中。未来的研究将着重于增强提示工程，开发更普遍的导师评分表，并使用实际的导师对话来进行评估。

Jul, 2023

该研究评估了 ChatGPT 作为人工智能教学和学习支持工具在一所亚洲国家的集成电路系统课程中的有效性，通过完成不同类型的问题和评估 ChatGPT 的回应来获得有价值的见解，以进一步调查。该研究的目标是评估 ChatGPT 在工程教育中提供见解、个性化支持和互动学习体验的能力。该研究包括对不同利益相关者（学生、讲师和工程师）的评估和反思。研究结果揭示了 ChatGPT 作为人工智能工具的益处和局限性，为技术学科中创新的学习方法铺平了道路。此外，该研究有助于我们对教育部门数字化转型的理解。

Nov, 2023

使用 ChatGPT 为实践医疗专业人员提供个性化形成性反馈，通过一小时 Zoom 分组活动教授数字健康计划的评估计划制定，调查表显示大多数受访者对反馈持积极看法，讨论范围广泛，但只有三个小组利用了反馈循环改进评估计划。未来教育者可以从我们的经验中学习，包括设计提示、提供使用 ChatGPT 的指导说明和支持最佳 ChatGPT 群组互动。未来研究应该探索 ChatGPT 在群体动态中的影响，并提出 ChatGPT 在协作学习中的设计原则。

Nov, 2023