今天的大型语言模型(LLMs)可以生成连贯的，符合语法的、有意义的文本段落，但在如人类思维一样的实际语言使用中，大多数测试需要功能语言能力，从认知神经科学的证据中，我们显示出LLMs显示出令人印象深刻（虽然不完美）的正式语言能力的任务，但在需要功能能力的许多测试中失败了。

Jan, 2023

通过对大型语言模型（LLM）和人类的推理进行比较，本研究使用传统的认知心理学工具调查和比较它们的表现，结果显示大部分模型呈现了类似于人类具有错误倾向、启发式推理的推理错误，然而，深入比较发现最近的LLM版本在与人类推理的区别方面存在重要差异且模型的局限性在新版LLM中几乎完全消失，此外，我们还表明，虽然有可能设计策略以提高模型的性能，但人类和机器对相同的提示方案的响应并不相同，最后我们讨论了比较人类和机器行为在人工智能和认知心理学领域中的认识论意义和挑战。

Sep, 2023

通过使用教育诊断评估方法，本研究在MoocRadar上进行评估，这是一个基于布鲁姆分类法的人工测试数据集，旨在揭示大型语言模型的知识结构并了解其认知能力的差异模式，从而为研究人员在LLMs的知识方面提供更明确、更有效的发展和利用。

Oct, 2023

本文描述了评估使用基于语言的行为评估方法来评估大型语言模型（LLMs）认知能力的研究方法考虑因素。作者通过三个案例研究（常识知识基准、心理理论评估和语法一致性测试）描述了在将认知测试应用于LLM时可能出现的常见问题。作者还列出了10个应避免和遵循的指导方针，以帮助设计高质量的人工智能系统的认知评估。最后讨论了当前正在讨论的四个领域 - 提示的敏感性、文化和语言多样性、使用LLMs作为研究助理、以及对开放和封闭LLMs进行评估。总之，本文旨在为快速发展的AI心理学领域中的最佳实践做出贡献。

Dec, 2023

本文探索大型语言模型在心理学应用中的前沿。大型语言模型如ChatGPT正在改变心理学研究的方式，并在认知与行为心理学、临床与咨询心理学、教育与发展心理学以及社会与文化心理学等多个领域发挥着影响，强调了它们模拟人类认知和行为的潜力。该论文还讨论了这些模型在心理学方面的能力，提供了创新工具用于文献综述、假设生成、实验设计、实验对象选择、数据分析、学术写作和同行评审。然而，尽管大型语言模型对推进心理学研究方法至关重要，但该论文也注意到了其技术和伦理挑战，如数据隐私、在心理学研究中使用大型语言模型的伦理影响以及对这些模型局限性的更深入了解的需要。研究人员应该负责任地在心理学研究中使用大型语言模型，遵守伦理标准，并考虑在敏感领域部署这些技术的潜在后果。总之，这篇文章全面概述了大型语言模型在心理学中的现状，探讨了潜在的好处和挑战。它号召研究人员在充分利用这些模型的优势的同时，负责任地解决相关风险。

Jan, 2024

使用大型语言模型作为认知模型具有潜力，但需要解决多个重要挑战。本文提出了一种新颖的方法，通过利用计算等效任务和特定任务分布，增强大型语言模型作为决策模型的效用，并展示了在决策制定中的应用。结果表明，预训练大型语言模型在生态有效的算术数据集上可以更好地预测人类行为，显示了与传统认知模型之间的强关联。但将大型语言模型用作认知模型时，需要通过去除预训练数据的实验来进行详细研究。

May, 2024

大型语言模型在认知科学领域引起了轰动，现在是时候对用于在这些模型或人类认知中进行科学推理的各种研究范式进行总结。我们回顾了几种新兴的研究范式- GPT-ology、LLMs作为计算模型以及“硅采样”，并回顾了最近在这些范式下使用LLMs的论文。在这样做的过程中，我们讨论了它们的主张以及在这些不同范式下进行科学推理的挑战。我们强调了几个关于LLMs需要解决的重要问题，以推动我们的科学发展: 闭源 vs 开源模型;（缺乏的）训练数据; 并且在LLM研究中的可重复性, 包括形成新任务“超参数”（如指令和提示）的约定。

Jun, 2024

本研究针对大型语言模型（LLMs）在认知能力上的发展进行评估，填补了相关研究的空白。通过构建基于皮亚杰认知发展理论的CogLM基准，研究发现高级LLMs（如GPT-4）展现出类似20岁人类的认知能力，并指出参数规模和优化目标是影响LMMs认知水平的关键因素。这些发现有助于指导LLMs未来的演进方向。

Aug, 2024

本综述研究了大型语言模型（LLMs）与认知科学交叉领域的相似性与差异性，分析了LLMs的认知能力评估方法及其作为认知模型的潜力。主要发现是LLMs在认知科学研究中的应用提供了重要见解，并指出了LLMs在与人类认知对齐过程中的挑战及未来研究方向。

Sep, 2024

本研究探讨了大语言模型（LLMs）与人类认知过程之间的相似性与差异性，填补了这一领域的研究空白。文章提出了一种评估LLMs认知能力的新方法，并指出了LLMs作为认知模型的潜力。研究结果强调了LLMs在理解人工智能及人类智能方面的重要性，并提出了未来研究方向。

Sep, 2024