本研究选取了 6 个代表性的 GPT 系列模型，对它们在 21 个数据集上进行了 9 项自然语言任务的性能评估，发现尽管引入强化学习任务和人性化反馈机制提高了 GPT 系列模型生成人类语言的能力，但也有牺牲部分任务解决能力的代价，同时还有提高模型的鲁棒性的空间。

Mar, 2023

GPT3.5 的认知能力和人格测量存在较大的变异性，但其所展示的低自尊和与现实脱节的表现可能与人类的良好心理健康状态相悖。

Sep, 2023

本文概述了生成式 AI 的技术基础和应用领域，重点关注了不同类型（文本、图像、视频和 3D 内容）的生成任务和它们在教育以及创意产业中的应用。文章进一步讨论了目前所面临的挑战和未来的发展方向，强调了 ChatGPT 及其未来的潜力。

Mar, 2023

基于 ChatGPT 模型的广泛研究评估了 GPT-4 和 GPT-3.5 在 13 个影响计算问题上的性能，发现它们在涉及情感、情绪和毒性等问题上表现出色，但在涉及隐性信号的问题上表现较差，如参与度测量和主观性检测。

Aug, 2023

本文对 ChatGPT 的编码能力进行全面评估，重点考察了其在 Python 编程语言和数据结构与算法等基础计算机科学问题上的表现，包括解决问题的能力、代码质量和运行时错误性质，探究了其对训练数据的直接记忆现象，并在各个子主题和难度不等的问题上与人类表现进行对比研究。

Jul, 2023

生成式人工智能和大型语言模型在计算机教育领域有潜力通过自动生成个性化反馈和内容来大幅改善情况。本文研究了这些模型在文本编程教育领域的能力，但是对于常用于 K-8 编程教育的可视化编程领域的性能尚未探究。本研究评估了 ChatGPT 和 GPT-4 两个模型在不同场景的可视化编程领域中的表现，并通过专家评注进行了性能评估。结果显示这些模型在整合空间、逻辑和编程技能方面性能较差，为改进生成式模型在可视化编程中的表现提供了有趣的发展方向。

Jul, 2023

ChatGPT 的 AI 生成内容检测问题，主要集中在语义不变任务，以往的数据集忽视了这方面的任务，我们提出了一个更全面的数据集，并通过大量任务指令微调建立了更强大的检测系统，实验证明我们的检测器优于之前的最先进 RoBERTa-based 检测器。

Sep, 2023

研究论文对大型语言模型（LLMs）在系统安全领域中的影响和局限性进行了探讨，发现 ChatGPT 不仅在生成代码方面有出色的能力，还在理解用户提供的自然语言指令、推理程序的控制和数据流、生成复杂数据结构以及反汇编汇编代码等方面展示了强大的能力。研究表明，GPT-4 在大多数安全任务中相较于 GPT-3.5 有显著改进，同时也确定了 ChatGPT 在安全相关任务中的某些限制，例如处理长代码上下文的能力受限。

Dec, 2023

ChatGPT 3.5 可以将多达 3000 个词的内容浓缩成一页，能够有针对性地从给定的文本中保留关键信息；通过对七篇科学文章使用 ChatGPT 服务生成摘要并与六位合著者进行调查，发现 ChatGPT 生成的摘要能够成功概括文章中的重要信息，保留了每篇文稿的主要信息，但与原文相比，在摘要的技术深度上稍有降低；综上，我们的研究结论强调了 ChatGPT 在文本摘要功能上作为提取关键洞察的强大工具，更符合报告性的方式而非纯粹的科学论述。

Nov, 2023

本文研究了 ChatGPT 在 25 个多样化的自然语言处理任务（如情感分析、情感识别、态度检测、自然语言推断、词义消歧、语言可接受性和问答）中的表现及其个性化响应能力，并与现有的国际先进水平（SOTA）解决方案进行了比较。结果表明，任务难度越高（低 SOTA 表现），ChatGPT 的损失越大。同时也揭示了 ChatGPT 偏见，在一定程度上限制了 ChatGPT 的有效性。

Feb, 2023