本文研究利用大型语言模型来预测人类阅读行为，并比较了针对特定语言和多语言的预训练变压器模型在预测荷兰语、英语、德语和俄语文本上反映自然人类句子处理的阅读时间测量方面的表现。结果显示，变压器模型可以准确地模拟人类阅读行为，预测出了各种眼动特征，表明变压器模型可以以类似于人类处理机制的方式隐式地编码语言的相对重要性。作者还分析了这些模型的跨领域和跨语言能力，并展示了它们如何反映人类句子处理。

Apr, 2021

今天的大型语言模型(LLMs)可以生成连贯的，符合语法的、有意义的文本段落，但在如人类思维一样的实际语言使用中，大多数测试需要功能语言能力，从认知神经科学的证据中，我们显示出LLMs显示出令人印象深刻（虽然不完美）的正式语言能力的任务，但在需要功能能力的许多测试中失败了。

Jan, 2023

通过本研究，我们发现指导微调对大型语言模型产生了三个重要影响，包括了对指令识别的加强、对知识存储层次的对齐以及对单词关系学习的促进。这些发现有助于更深入地理解指导微调对大型语言模型行为变化的影响，并为未来解释和优化这些模型以适用于不同应用领域的研究打下了基础。

Sep, 2023

通过研究语言模型在下一个单词预测任务中的表现与人类行为模式的比较，发现人类与GPT-2语言模型在文本展现初期表现强相关，随着记忆（或背景学习）的作用逐渐发挥，二者的表现迅速分歧，研究发现这种分歧的原因是特定的中间层注意力头部，为此通过在这些注意力头部中添加幂律最近偏倚，构建了一个更接近人类行为的模型，希望此案例能够推动将语言模型更加贴近人类行为的未来研究。

Oct, 2023

当前大型语言模型（LLMs）在生成符合语法、流畅的文本方面无与伦比。这篇论文针对LLMs的能力进行了辩论，并通过批判性评估三个经常在批评中出现的观点来展示LLMs仍需更多细化。其次，文章从实证和理论的角度提出了对LLMs中“真正”的理解和意向性的实用观点，并讨论了在何种情况下将心理状态归因于LLMs对于这一日益重要的技术在社会中具有实用的哲学背景。

Oct, 2023

大型语言模型（LLMs）是巨大的人工神经网络，主要用于生成文本，但同时也提供了一个非常复杂的语言使用概率模型。我们调查了LLMs的记忆特性，并发现它与人类记忆的关键特征存在惊人的相似性，这一结果强烈暗示了人类记忆的生物特征对我们构建文本叙述的方式产生了影响。

Nov, 2023

研究通过构建自我认知指令提示池，评估大型语言模型的自我认知，并提出四个原则来量化模型的自我认知水平。结果显示在Chatbot Arena的48个模型中，有4个模型展示出可检测到的自我认知。模型规模、训练数据质量与自我认知水平之间存在正向相关关系。此外，研究还探索了自我认知状态下大型语言模型的效用和可信度，揭示了自我认知状态增强创造性写作和夸张等特定任务的能力。这项工作有望激发进一步研究大型语言模型的自我认知。

Jul, 2024

追踪了70百万到28亿参数规模的3000亿标记的解码器型大语言模型中模型机制的出现和演化，发现任务能力和支持它们的功能组件在规模不同的情况下一致地出现，并且虽然这些组件可能随时间由不同的注意力头实现，但其实施的总体算法保持不变。这些结果表明，在预训练结束后进行的对小型模型的线路分析仍然适用于额外的预训练和不同规模的模型。

Jul, 2024

本研究针对大型语言模型（LLMs）作为黑箱系统的现状，探讨它们内部机制中的注意头，通过四阶段框架分析人类思维过程，旨在揭示推理瓶颈的本质。结果表明，特定的注意头在推理过程中扮演了关键角色，为LMMs的进一步优化提供了新思路。

Sep, 2024

本研究针对大型语言模型（LLMs）作为黑箱系统所导致的推理瓶颈，着重分析注意力头的内部机制。通过将人类思维过程提炼为四个阶段的框架，系统性地回顾现有研究，识别和分类特定注意力头的功能，从而为理解LLMs的推理过程提供新的视角与方法。

Sep, 2024