本研究论文讨论了将人工智能用于高等教育中的教学与学习，并以 ChatGPT 作为工具，以计算机科学基础编程课程为例进行了教学和评估的探讨，结果显示使用 ChatGPT 的学生在得分上有优势，但提交的代码存在不一致和不准确的情况。

Apr, 2023

我们通过实证分析了 ChatGPT 在无人辅助编程助手方面的潜力，并强调了其相对程序生成、程序修复、代码摘要方面的表现，并对其在常见编程问题上的表现进行了评估，这证明 ChatGPT 有效地处理典型的编程挑战，但我们也发现，综合的描述可能会限制 ChatGPT 的关注点并阻碍其利用其广泛的知识进行问题解决。

Apr, 2023

本研究探讨了 ChatGPT 在解决编程问题方面的有效性，考察了其解决问题的正确性和时间、内存复杂度等效率，研究结果表明 ChatGPT 在结构化问题方面表现出较好的成功率，但其调试任务表现不佳，为 ChatGPT 的能力和改进提供了精辟的了解。

Jul, 2023

通过评估 ChatGPT 在三门课程（CS1、CS2、数据库）上的性能，研究了生成式人工智能对学习和评估的破坏性影响，其几乎完美地完成了所有初级考核，现有的检测方法对识别人工智能解决方案的成功率有所不同，教师和助教使用启发式方法区分学生代码和 AI 代码的检测准确性不足，这些观察结果强调了需要改进评估和检测方法。

Nov, 2023

本研究系统评估了两种模型 (基于 GPT-3.5 的 ChatGPT 和 GPT-4)，并将它们与人类导师在各种情形下的表现进行比较。我们使用五个 Python 编程问题和来自在线平台的真实有 bug 程序进行评估，并使用基于专家的注释进行评估。结果表明，GPT-4 明显优于 ChatGPT，并在某些场景下接近人类导师的表现，但在某些情况下仍表现不佳。

Jun, 2023

本文采用定量方法，展示 ChatGPT 在回答涉及本科计算机科学课程相关主题的不同类型的问题时高度不可靠，揭示学生盲目依赖 ChatGPT 完成作业和考试可能面临自我破坏。同时提出对学生和教师的建设性建议。

Apr, 2023

ChatGPT 是一种显著的大型语言模型，通过与人类程序员进行比较，本文提出了对其代码生成能力的综合评估。通过构建一个包含 5 个类别的新颖数据集，共计 131 个代码生成提示，ChatGPT 和人类程序员生成了 262 个代码样例。使用 14 个已建立的代码质量度量方法进行详细的手动评估，重点评估了正确性、可理解性和安全性。关键发现揭示了 ChatGPT 在制作简洁高效、具有高级结构的代码方面的优势，并展示了在数据分析任务（93.1% 准确度）中的强项，但在视觉图形方面存在局限性。与人类代码的比较分析凸显了 ChatGPT 对模块化设计和优秀的错误处理的倾向。此外，机器学习模型可以有效地区分 ChatGPT 和人类代码，准确率高达 88%，表明可以检测到的编码风格差异。通过量化指标和定性分析深入探讨了 ChatGPT 的代码生成能力和局限性，为推进基于人工智能的编程助手提供了宝贵的见解。精心策划的数据集和方法为这个新兴领域的未来研究提供了坚实的基础。所有数据和代码都可在此 https URL 上找到。

Nov, 2023

研究论文探讨了在一个初级编程课程中使用 ChatGPT 作为虚拟助教的潜力，并通过比较其与人类助教在一些助教功能上的表现来评估 ChatGPT 的能力。论文结论中讨论了将 ChatGPT 纳入计算机教育中对自动分级、个性化学习和教学支持的影响。

Dec, 2023

ChatGPT 在自动化给予 Java 编程作业反馈方面的可行性进行了研究，调查结果表明学生们普遍认为 ChatGPT 反馈与 Shute 建立的形成性反馈准则相一致，他们更喜欢包含他们代码的反馈，此研究还提供了改进 ChatGPT 生成反馈的具体见解。

Dec, 2023

本文旨在评估人工智能工具 ChatGPT 在计算机工程学科中的表现；研究发现它可以回答关于概念的问题，但由于它是一种文字工具，所以无法处理需要用到图表和手工实验的问题。

Mar, 2023