EMNLPSep, 2022

GPT-3 是谁？个性、价值观和人口统计的探索

PDF
TL;DR本文对 GPT-3 的人格特征、价值观和自我报告的人口统计数据进行了心理评估，结果显示 GPT-3 在人格和价值观方面与人类样本的得分类似，我们提供了第一批 GPT-3 心理评估证据，并为未来将社会科学与语言模型放在更近距离提供了建议。
gpt-3language modelspersonality assessmentvaluessocial science
发现论文，激发创造
  • 关于 GPT-3 的调查

    本文介绍 GPT-3 技术的历史发展、关键特性、机器学习模型和数据集，并讨论了其在各个领域中的应用，如人工智能聊天机器人、软件开发、创意工作、领域知识和商业生产力；同时探讨了 GPT-3 面临的挑战，如训练复杂性、偏见和幻觉 / 错误答案等，并讨论了未来的研究机会。

    Dec, 2022

  • 评估大型语言模型的性质：对人类中心主义的警告

    GPT3.5 的认知能力和人格测量存在较大的变异性，但其所展示的低自尊和与现实脱节的表现可能与人类的良好心理健康状态相悖。

    Sep, 2023

  • 运用认知心理学理解 GPT-3

    本文借助认知心理学的工具对最近的大型语言模型 GPT-3 进行了研究评估其在任务决策、信息搜索、思考以及因果推理方面的能力，结果显示 GPT-3 表现出的许多行为令人印象深刻，能够像人类一样解决任务，但也发现了其局限性，如对于因果推理任务失败，这些结果丰富了我们对当前大型语言模型的理解，并为进一步利用认知心理学工具研究越来越能干和难以理解的人工智能代理铺平了道路。

    Jun, 2022

  • GPT-3 对零样本人格估计的系统评估

    本文探讨了 GPT-3 在用户社交媒体帖子上对 Big 5 个性格特质的零样本估计能力，并发现其在粗分类上表现与现有的预训练模型相近，但在细粒度分类下表现不如常见类别基准，同时分析了 GPT-3 和预训练词汇模型表现较好和较差的领域，提出了改进 LNM 在人类级 NLP 任务上的建议。

    Jun, 2023

  • GPT 的年龄是多少？：使用人口统计数据的 HumBEL 框架来评估语言模型

    本研究提出了一种通过临床方法测量和比较语言模型语言技能，以及自动化技术对其进行评估的方法，发现 GPT-3.5 模型在不同任务中具有不同的能力，并在社交语言使用上存在困难。因此在使用这些模型作为公共工具时，重要考虑社会任务需求及相关人群的使用差异。

    May, 2023

  • ChatGPT 的高维心理特征和文化偏见

    对 ChatGPT 进行了心理特征和文化价值的测量，发现其与真实人类存在差异，表现出文化偏见和刻板印象。未来的研究应加强技术监督和算法训练的透明性，促进跨文化交流和减少社会差异。

    May, 2024

  • 测试 GPT-3 的创造力（替代用途）

    我们评估了 Open AI 的生成式自然语言模型 GPT-3 在 Guilford 的替代用途测试中的创造力，结果显示人类目前在创造性输出方面表现优于 GPT-3，但我们相信这只是时间问题。

    Jun, 2022

  • ChatGPT 作为研究科学家：探测 GPT 作为研究图书馆员、研究伦理学家、数据生成器和数据预测者的能力

    ChatGPT 是一位不完美但在快速改进的图书管理员和已经是一位不错的研究伦理师，能够在已知特性的简单领域生成数据，但在预测未知经验数据的新模式方面表现较差，对未来实验的帮助有限。

    Jun, 2024

  • GPT-3 的人格测评：时间可靠性有限，但突显社交渴望的人格测试结果

    研究 GPT-3 chatbot 的潜在应用和局限性，检验其人格问卷的时间可靠性及其人格特质，并发现其在沟通领域表现出亲社会人格特质，但其应答的基础是否由自觉的自我反思或预先确定的算法驱动仍不确定。

    Jun, 2023

  • 论 GPT-4 的心理学特征：适度焦虑，稍微男性化，诚实谦逊

    GPT-4 通过一系列严格的心理测量测试，结果表明与普通人相比，它显示出更多的诚实和谦逊，而较少的是玩弄权谋和自恋。它有时展现出矛盾的性别歧视，略微偏向男性，普遍心理上有病态，但不总是抑郁。它在数理能力方面接近人类平均水平，并在语言任务上的认知反思能力高于人类平均水平。

    Feb, 2024