关于大型语言模型（LLM）的脑科学评分形状研究
本文探讨了使用神经语言模型对大脑活动进行研究的方法，主要研究了测试损失、训练语料库和模型架构对捕捉大脑活动的影响，并提出了未来研究的良好实践建议。
Jul, 2022
本文研究使用基于Transformer的语言模型，比较了不同模型尺寸与训练数据规模对于预测功能性磁共振成像记录下的脑活动响应的影响。结果显示，当模型或数据规模增大时，在音频与语言预测方面均能获得显著性提升，这为在理解大脑语言处理机制和实际的解码应用上提供了改善的可能。
May, 2023
通过进行类比研究，本文发现大型语言模型中存在一个与语言能力对应的核心区域，占据总模型参数的约1%。该核心区域表现出显著的维度依赖性，对特定维度上的单个参数的扰动可能导致语言能力的丧失。此外，我们观察到语言能力的提高并不一定伴随模型知识水平的提升，这可能暗示着与语言区分离的领域知识区域存在。总的来说，探索大型语言模型的功能区域为我们提供了有关其智能基础的见解。未来，我们将继续研究语言模型内部的知识区域及其之间的互动。
Oct, 2023
通过研究使用大型语言模型（LLMs）探索人工神经处理和语言理解之间相似性的因素，我们发现随着LLMs在基准任务上性能的提高，它们不仅在预测LLM嵌入的神经相应性时表现出更高的脑部相似性，而且它们的分层特征提取路径与大脑的映射更为密切，并且使用较少的层进行相同的编码。此外，我们还比较了不同LLMs的特征提取路径，发现高性能模型在层次化处理机制方面更多地趋同。最后，我们展示了上下文信息在提高模型性能和与大脑相似性方面的重要性，并揭示了大脑和LLMs语言处理的融合特点，为开发更加与人类认知处理密切相关的模型提供了新方向。
Jan, 2024
大型语言模型（LLM）在文本理解和逻辑推理方面表现出了非凡的能力，在多个认知任务中实现或甚至超过了人类水平的表现。本文提出了一种新的方法，通过将LLM表示与人类认知信号进行桥接，评估LLM在模拟认知语言处理方面的有效性。我们采用了表示相似性分析（RSA）来衡量16个主流LLM与脑部fMRI信号之间的对齐程度。实证研究调查了多种因素（如模型扩展、对齐训练、指令附加）对LLM-脑信号对齐的影响。实验结果表明，模型扩展与LLM-脑信号相似性呈正相关，对齐训练可以显著提高LLM-脑信号相似性。此外，广泛的LLM评估（如MMLU，Chatbot Arena）的性能与LLM-脑信号相似性高度相关。
Feb, 2024
通过大规模语言模型（LLMs）来预测神经科学实验结果，发现LLMs在预测实验结果方面超过了专家，并且经过优化的神经科学文献模型BrainGPT表现更好，这预示着人类与LLMs共同合作进行科学发现的未来。
Mar, 2024
使用大型语言模型研究大脑信号，通过测量模型的预测能力和大脑的相似性，关注大脑活动对语言处理的核心元素，并发现过度依赖大脑信号评分可能导致对大型语言模型与大脑相似性的过度解读。
Jun, 2024
通过研究大型语言模型，该论文揭示了语言模型与人类大脑的相似性，重点分析了架构组件中的分词策略和多头注意力以及需求确定性的关键因素，最终提出了一种高度与人类大脑和行为对齐的模型。
Jun, 2024
本研究解决了大型语言模型（LLM）中隐层如何能够有效预测大脑对自然语言刺激反应的核心问题。通过使用流形学习方法，研究发现LLM训练过程中存在一个两阶段的抽象过程，其中第一个“组合”阶段的抽象逐渐压缩到更少的层。研究初步证实，层级编码性能与LLM表示的内在维度之间存在强对应关系，这并非源于其下一个单词预测特性。
Sep, 2024