Jun, 2022

测试 GPT-3 的创造力（替代用途）

PDF
TL;DR我们评估了 Open AI 的生成式自然语言模型 GPT-3 在 Guilford 的替代用途测试中的创造力，结果显示人类目前在创造性输出方面表现优于 GPT-3，但我们相信这只是时间问题。
ailarge language modelsgpt-3creativity researchguilford's alternative uses test
发现论文，激发创造
  • 评估大型语言模型的性质：对人类中心主义的警告

    GPT3.5 的认知能力和人格测量存在较大的变异性，但其所展示的低自尊和与现实脱节的表现可能与人类的良好心理健康状态相悖。

    Sep, 2023

  • 用大型语言模型（GPT）自动化编程作业反馈

    本实验研究使用 OpenAI 的 GPT-3.5 模型在一个自动化的评估平台上生成学生编程作业的个性化提示，实验小组依赖平台反馈较少但在启用 GPT 提示时表现得更好。

    Jun, 2023

  • 机器直觉：揭示 GPT-3.5 中类似人类直觉的决策制定

    本研究揭示了大型语言模型 (LLMs) 在某些情况下表现出具有人类直觉的行为，包括许多认知错误，并且通过使用 GPT-3.5 等最新技术的模型及进行人类直觉决策的试探研究证明了这一点，并探究了几种方法来测试 GPT-3.5 的倾向于类似直觉的决策及其机器行为等方面，以揭示出这些模型在认知科学方面的新兴特征和调整预期的潜力。

    Dec, 2022

  • AI 辅助编码：GPT-4 实验

    本文使用 GPT-4 进行了多项实验来生成计算机代码，发现 AI 编码工具需要人类的验证才能确保准确性和可靠性。同时，使用 GPT-4 进行代码改进可以显著提高代码质量，但生成的测试仍需要人类验证。

    Apr, 2023

  • OpenAi 的 GPT4 作为编码助手

    本文研究了 GPT3.5 和 GPT4 作为编码助手的性能，测试结果表明 GPT4 具有卓越的性能，可以提高程序员的生产力并重组基于这些新工具的软件开发流程。

    Sep, 2023

  • 人工缪斯：生成型人工智能聊天机器人已达到人类创造力水平

    本研究测试了人工智能是否具备创造力，通过比较采用六种生成式人工智能聊天机器人生成的创意和人类生成的创意，研究发现虽然创意的生成方式不同，但是在创意质量方面没有明显的差异，并且有 9.4% 的人比 GPT-4 生成的创意更有创造力。研究表明生成式人工智能可以成为创意创造的有价值助手，持续研究和开发生成式人工智能在创造性任务中的应用具有重要意义，同时也探讨了生成式人工智能是否能够真正具备创造力的问题。

    Mar, 2023

  • 揭示大型语言模型在生成语义和跨语言克隆方面的潜力

    使用 GPT-3 模型进行代码的语义和跨语言克隆生成，研究结果表明在软件开发领域使用先进语言模型存在潜在应用和挑战。

    Sep, 2023

  • 人工智能心理学的 “正确答案

    在该研究中，我们使用 OpenAI 的 text-davinci-003 模型，即 GPT3.5，重复了 Many Labs 2 重复项目中的 14 项研究，其中我们的 GPT 样本在八项研究中复制了 37.5％的原始结果和 Many Labs 2 结果的 37.5％。然而，我们发现 GPT 模型在回答六个研究问卷中的问题时出现了极端的 “正确答案” 效应，这引发了对未来 AI 领域可能存在思想多样性降低的担忧。

    Feb, 2023

  • 人工通用智能的火花：GPT-4 的早期实验

    本文报道了 OpenAI 发展的最新模型 GPT-4，证明其不仅能够掌握语言，而且在数学、编码、视觉、医学、法律和心理等多个领域中都能够解决新颖且困难的任务，表现接近于甚至超过人类的水平，代表了一种新的群体智能的语言模型，并可能被视为人工通用智能（AGI）系统的早期、但尚不完整的版本。同时，本文还探讨了 GPT-4 的局限性，指出其可能需要超越下一个预测的新范式，为实现更深入和全面的 AGI 版本的发展面临的挑战，以及该技术飞跃的社会影响和未来研究方向的反思。

    Mar, 2023

  • GPTScore：任意评估

    本文提出了一种新的评估框架 GPTScore，利用生成预训练模型的崭新能力对生成的文本进行评分，实验结果表明该方法能够高效地实现对文本的定制化、多方面评估，不需要注解样本。

    Feb, 2023