本研究旨在探究大型语言模型在不同推理任务上的表现，并发现它们在类比和道德推理方面表现出色，而在空间推理任务方面则表现不佳。

Mar, 2023

通过使用教育诊断评估方法，本研究在MoocRadar上进行评估，这是一个基于布鲁姆分类法的人工测试数据集，旨在揭示大型语言模型的知识结构并了解其认知能力的差异模式，从而为研究人员在LLMs的知识方面提供更明确、更有效的发展和利用。

Oct, 2023

本文描述了评估使用基于语言的行为评估方法来评估大型语言模型（LLMs）认知能力的研究方法考虑因素。作者通过三个案例研究（常识知识基准、心理理论评估和语法一致性测试）描述了在将认知测试应用于LLM时可能出现的常见问题。作者还列出了10个应避免和遵循的指导方针，以帮助设计高质量的人工智能系统的认知评估。最后讨论了当前正在讨论的四个领域 - 提示的敏感性、文化和语言多样性、使用LLMs作为研究助理、以及对开放和封闭LLMs进行评估。总之，本文旨在为快速发展的AI心理学领域中的最佳实践做出贡献。

Dec, 2023

我们引入了一种新颖的评估范式来评估大型语言模型，这种范式挑战了它们进行元推理。该方法解决了现有的数学问题解决基准测试中存在的关键缺陷，传统上用于评估代理的认知能力。我们的范式将重点从以结果为导向的评估转向更综合的评估，能够有效区分模型之间的认知能力。例如，在我们的基准测试中，GPT-4的性能比GPT3-5准确率高十倍。这种新范式的重要性在于它能够揭示当前基准测试（如GSM8K）未能发现的语言模型的潜在认知缺陷，这是由于它们的饱和度和在不同推理能力之间缺乏有效区分。我们的综合分析包括来自开源和闭源社区的几个最先进的数学模型，揭示了它们的训练和评估方法的根本缺陷。本文不仅主张在评估LLMs时进行范式转变，而且对于关于人工通用智能（AGI）的持续讨论也作出了贡献。通过推广类似于我们的元推理评估方法的采用，我们旨在促进对LLM真正认知能力的更准确评估。

Dec, 2023

我们设计了一个初步的研究，以量化和深入探讨现有大型语言模型的抽象推理能力。我们的结果显示，我们的方法不仅提高了大型语言模型的一般推理性能，而且在抽象推理能力方面取得了可观的进展，从简单的记忆或模仿转向了更加精细的对通用事实的理解和应用。

Mar, 2024

评估大型语言模型的事实记忆能力及其影响因素，涵盖多个领域、知识流行度水平和模型家族，并观察到指令调整对知识召回的负面影响、模型规模对性能的正面影响以及反事实演示对大模型事实知识召回的降低作用。

Apr, 2024

本文探讨了大型语言模型（LLMs）在知识生成方面的能力与人类理解抽象概念的能力之间的差距。通过分析GPT-4在科学、数学和常识推理方面的回答，揭示了其在模仿人类推理的限制，指出人类理解基于少量抽象概念这一关键差异，进而讨论了LLMs对人类知识获取和教育的影响。

Aug, 2024

本综述研究了大型语言模型（LLMs）与认知科学交叉领域的相似性与差异性，分析了LLMs的认知能力评估方法及其作为认知模型的潜力。主要发现是LLMs在认知科学研究中的应用提供了重要见解，并指出了LLMs在与人类认知对齐过程中的挑战及未来研究方向。

Sep, 2024

本研究探讨了大语言模型（LLMs）与人类认知过程之间的相似性与差异性，填补了这一领域的研究空白。文章提出了一种评估LLMs认知能力的新方法，并指出了LLMs作为认知模型的潜力。研究结果强调了LLMs在理解人工智能及人类智能方面的重要性，并提出了未来研究方向。

Sep, 2024

本研究探讨了大型语言模型（LLMs）与认知科学的交集，分析了LLMs与人类认知过程之间的相似性和差异性。研究的主要发现是，尽管LLMs表现出某些认知能力，但仍存在认知偏见与局限性，需要进一步研究和改进，以推动理解人工智能与人类智能的进步。

Sep, 2024