ChatGPT:关于其在普适软件工程任务中效用的研究
本研究探讨了 OpenAI 开发的 ChatGPT 技术在业务、教育等 10 个领域的应用、机会和威胁,介绍了 ChatGPT 的技术特点,以及对 GPT-3.5 和 GPT-4 的实验研究结果。虽然 ChatGPT 的生成自然语言对话的能力优异,但是它没有很高的理解力、同理心和创造力,不能在大多数情况下完全取代人类。
Apr, 2023
本文研究了 ChatGPT 在 25 个多样化的自然语言处理任务(如情感分析、情感识别、态度检测、自然语言推断、词义消歧、语言可接受性和问答)中的表现及其个性化响应能力,并与现有的国际先进水平(SOTA)解决方案进行了比较。结果表明,任务难度越高(低 SOTA 表现),ChatGPT 的损失越大。同时也揭示了 ChatGPT 偏见,在一定程度上限制了 ChatGPT 的有效性。
Feb, 2023
本文讨论 OpenAIs ChatGPT,一种用于文本型用户请求(即聊天机器人)的生成式预训练转换器。讨论了 ChatGPT 及类似模型背后的历史和原则,以及其对学术界和学术研究出版的潜在影响。ChatGPT 被认为是自动准备论文和其他类型学术手稿的潜在模型。此外,还讨论了可能出现的潜在伦理问题,并将其置于人工智能、机器学习和自然语言处理的更广泛进展的背景之下。
Mar, 2023
本文采用定量方法,展示 ChatGPT 在回答涉及本科计算机科学课程相关主题的不同类型的问题时高度不可靠,揭示学生盲目依赖 ChatGPT 完成作业和考试可能面临自我破坏。同时提出对学生和教师的建设性建议。
Apr, 2023
本研究探讨了 ChatGPT 在解决编程问题方面的有效性,考察了其解决问题的正确性和时间、内存复杂度等效率,研究结果表明 ChatGPT 在结构化问题方面表现出较好的成功率,但其调试任务表现不佳,为 ChatGPT 的能力和改进提供了精辟的了解。
Jul, 2023
我们通过实证分析了 ChatGPT 在无人辅助编程助手方面的潜力,并强调了其相对程序生成、程序修复、代码摘要方面的表现,并对其在常见编程问题上的表现进行了评估,这证明 ChatGPT 有效地处理典型的编程挑战,但我们也发现,综合的描述可能会限制 ChatGPT 的关注点并阻碍其利用其广泛的知识进行问题解决。
Apr, 2023
这篇论文评估了 ChatGPT(GPT-3.5、GPT-4)对数字取证领域的影响和潜在影响,重点关注最新的预训练 LLM GPT-4,通过一系列实验评估了它在包括文物理解、证据搜索、代码生成、异常检测、事件响应和教育等多个数字取证应用场景中的能力,并总结了它的优势和风险。综合而言,尽管 ChatGPT 在数字取证领域存在一些潜在的低风险应用,但很多应用目前不适用,因为需要将证据上传至服务端,或者需要对所询问的话题具有足够的知识以识别错误的假设、不准确性和错误。然而,对于合适的知识用户而言,在某些情况下,它可以作为一个有用的辅助工具。
Jul, 2023
本研究分析了 ChatGPT 在不同对话问答语料库中生成的回答,并使用 BERT 相似度得分进行比较,以获取自然语言推理(NLI)标签。该研究还确定了 ChatGPT 提供错误答案的情况,提供了有关该模型可能存在错误的领域的见解。通过评估分数,比较 GPT-3 和 GPT-4 的整体性能。
Apr, 2023
本文探讨了深度学习算法生成人工响应的 ChatGPT 型艺术智能语言模型的可能应用、局限以及未来的研究方向。
Apr, 2023
本文探讨了 ChatGPT 在科学写作、数学、教育、编程和医疗保健等不同领域作为自动化助手的能力,重点介绍了其增强生产力、简化解决问题流程和提高写作风格的潜力以及与过度依赖 ChatGPT 可能带来的潜在风险,而作者提出了使用流程建议,对输出进行独立验证,并建议专家使用该工具。
Jun, 2023