研究人员使用一系列新颖的提示来测试 ChatGPT 中是否显示出启发式方法、偏见和其他决策效应等现象，并发现 ChatGPT 在这些效应中表现出与人类相似的行为。

May, 2023

通过比较ChatGPT和人类在进行相同任务时的词汇和词汇丰富性，研究表明ChatGPT倾向于使用较少的不同单词和较低的词汇丰富性，进一步的研究需要了解ChatGPT和其他生成型AI工具对不同类型的文本和语言的词汇和词汇丰富性的影响。

Aug, 2023

大型语言模型 (LLMs) 的语言能力令人印象深刻，但在对其能力进行系统研究方面尚有较少的探讨。本研究通过对四种不同类型的语言 (英语、德语、泰米尔语和土耳其语) 进行首次严格分析 ChatGPT 的形态能力，发现 ChatGPT 在各语言中的性能远低于专门构建的系统，尤其在英语中表现不佳。总的来说，基于形态学的研究结果对 ChatGPT 的语言能力提出了新的看法，并暗示自称具有类人语言技能的说法为时尚早和误导性。

Oct, 2023

研究探讨人类和LLM生成的对话之间的语言差异，并使用ChatGPT-3.5生成的19.5K对话作为EmpathicDialogues数据集的补充。研究使用了语言查询和词频统计（LIWC）分析，在118个语言类别上比较ChatGPT生成的对话和人类对话。结果显示人类对话在可变性和真实性方面更出色，但ChatGPT在社交过程、分析风格、认知、注意力焦点和积极情绪方面表现优异，加强了LLM“更接近人类”的最新发现。然而，在正面或负面情感方面，ChatGPT和人类对话之间没有显著差异。对话嵌入的分类器分析表明，尽管对话中未明确提及情感，但存在着情感价值的隐式编码。该研究还提供了一个新颖的ChatGPT生成的对话数据集，其中包含两个独立的聊天机器人之间的对话，这些对话旨在复制一个开放可访问的人类对话语料库，广泛应用于语言建模的AI研究。我们的研究结果增加了对ChatGPT的语言能力的理解，并为区分人类和LLM生成的文本的持续努力提供了信息，这对于检测由AI生成的虚假信息、错误信息和误导信息至关重要。

Jan, 2024

通过测试ChatGPT在语言记忆任务中对人类表现的预测能力，研究发现ChatGPT和人类的表现有惊人的一致性，尽管它们的内部机制可能存在显著差异，这一发现强调了生成型人工智能模型在准确预测人类表现方面的潜力。

Mar, 2024

通过分析ChatGPT在不同设定下的交互行为，我们深入研究了该模型在自然对话和角色扮演对话环境中的行为。我们引入了一个新的人工智能和人类对话的数据集，注释了用户动机和模型自然度，从而探究了人类如何与对话型人工智能模型进行交互以及人工智能模型的自然度。我们的研究突出了用户与ChatGPT进行交互时的动机多样性和人工智能模型的自然度差异，不仅展示了人与人工智能之间自然对话的微妙动态，也为提高人工智能与人类沟通的效果提供了新的途径。

Mar, 2024

通过创新构建一个包含细粒度和跨语言维度的词汇语义理解数据集，本研究揭示了大语言模型在基本词汇意义理解任务上的性能不佳，甚至落后于16岁的人类 3.9% 和 22.3% 分别。这突显了其关键不足，并激发了进一步研究和开发更智能的大语言模型的新见解。

May, 2024

通过实验和比较ChatGPT与普通人和语言学家在语言构造的判断上的一致性，在判断任务和语言处理方式上的差异性分析，我们的研究结果显示ChatGPT是人工智能模型中与语法直觉最接近的模型之一。

Jun, 2024

本研究解决了大型语言模型（LLMs）对人类口头交流的潜在影响这一问题。通过分析来自2万多个YouTube频道的28万条英文视频，发现自ChatGPT发布以来，使用与其相关的特定词汇的趋势显著变化，表明人类交流中逐渐模仿LLMs。这一发现引发了对人工智能可能减少语言多样性或被误用进行大规模操控的社会及政策相关关注。

Sep, 2024

本研究解决了合成数据在训练语言模型中对人类语言模式的偏离问题，提出了一个全面的人类语言使用基准（HLB），通过10个心理语言学实验评估20个大型语言模型（LLMs）。研究发现，LLMs在不同语言层面上再现实人类反应的能力存在细微差异，并指出其他性能指标的提高不一定意味着人类语言相似度的提升。

Sep, 2024