我们通过在6个任务上进行广泛的评估，发现虽然LLM表现出某些神经理论社交认知能力，但这种行为远非稳健。我们进一步研究影响N-ToM任务表现的因素，并发现LLM难以应对对抗性例子，这表明它们依赖于浅层启发式算法，而非稳健的ToM能力。我们警告不要从个别例子、有限的基准测试和使用人设计的心理测试来评估模型。

May, 2023

研究大型语言模型（LLMs）的能力和潜力，其中涵盖语言学、认知科学、数学和历史等领域，提出将LLMs暴露于语言训练数据中的能力可重新定义为暴露于语言编码的故事信息，并探讨其误差原因。

Jun, 2023

本研究通过使用心理学方法，展示了大型语言模型（LLMs），尤其是GPT-3，表现出类似于人类直觉的行为和认知错误，而具有更高认知能力的LLMs，特别是ChatGPT和GPT-4，学会避免这些错误，并表现出超理性的方式;此外，我们还探究了直觉决策倾向的稳定程度。

Jun, 2023

文中研究探讨了大型语言模型（LLMs），尤其是OpenAI的ChatGPT系列的可操控性。通过采用行为心理学框架—OCEAN（开放性、责任心、外向性、宜人性、神经质），我们定量评估了模型对定制提示的响应能力。当被要求生成模拟外向人格特征的文本时，OCEAN评分与该行为特征的语言对齐程度相关。在我们的分析中，虽然“开放性”呈现出语言上的模糊性，但“责任心”和“神经质”在OCEAN框架中明显地被唤起，而“外向性”和“宜人性”则显示出明显的重叠但与其他特征有所区别。我们的研究强调了GPT的多功能性和辨别和适应微妙指令的能力。此外，历史人物模拟突显了大型语言模型内化和投射可教商的角色的能力，精确地复制他们的哲学和对话风格。然而，大型语言模型能力的快速提升和一些训练技术的不透明性使度量提案迅速退化。我们的研究强调了量化角色在描述大型语言模型的可操控性方面的作用，同时提出了进一步完善的领域，以使其进展与人类意图相一致。

Aug, 2023

大型语言模型（LLMs）在理论心理学的出现上引起了极大的兴趣和争议。我们通过心理学研究将机器的心理模拟（machine ToM）分为七个类别，并提出了一种更全面的评估方法，通过将LLMs放置在具体环境中进行评估，来避免捷径和数据泄露的风险。希望这篇观点论文能促进未来研究将机器ToM与LLMs结合起来，并为研究人员更好地定位自己的工作在ToM领域中提供一个直观的方式。

Oct, 2023

通过神经激活语言模型，线性解码不同代理人的信念状态，发现其内部包含了自我和他人信念的表征，这些表征对社会推理过程具有关键作用，同时在不同因果推理模式的多种社会推理任务中表现出潜在的泛化能力。

Feb, 2024

通过对大型语言模型的解释性、因果干预方法的证据，以及多模态和模块化扩展，最近关于意识最低标准的争议以及在大型语言模型研究中的保密性和可重复性方面的担忧的讨论，该文讨论了大型语言模型及其对人类认知建模的相关性。

May, 2024

我们分析了大型语言模型（LLMs）作为符号标记嵌入空间中的动态系统是否是可观测的，发现它们不能满足美国心理学会对'情感'的定义，但如果存在对用户不可见的系统提示，就可以实现多个状态轨迹产生相同的输出，这一分析为设计能够进行不可见计算的模型以及提供此类模型服务的控制措施提供了启示。

May, 2024

用各种语言模型和不同的模型大小、微调方法和提示设计进行广泛的基准测试，研究了心理状态表征的鲁棒性和记忆问题，并首次研究了提示变化对心智任务的探测性能的影响。结果表明，模型对他人信念的内部表征质量随模型大小和微调的增加而提高。此外，我们证明了模型的表征对提示的变化非常敏感，即使这些变化本应有益。最后，通过引导模型的激活，成功改善了模型的推理性能，无需训练任何探测器。

Jun, 2024

研究了大型语言模型（LLMs）的本体学特征，将 ChatGPT 划分为互动者或语言自动机，具备真实对话体验，但缺乏自主代理能力。

Jul, 2024