深度语言模型（DLMs）为理解人脑中自然语言处理机制提供了一种新的计算范式。通过使用分层连续数值向量来表示单词和上下文，DLMs 与传统的心理语言学模型不同，从而产生了大量新兴应用，如人类般的文本生成。本文通过展示 DLMs 的分层层次结构可以模拟大脑中语言理解的时间动态性，从而证明了 DLMs 的层深与层是否最能预测人脑之间存在强相关。我们利用高时序分辨率的电皮层图谱（ECoG）数据记录参与者在听取一个 30 分钟叙述时的神经活动，同时将相同的叙述输入高性能 DLM（GPT2-XL）中。然后，我们提取 DLM 的不同层中的上下文嵌入，并使用线性编码模型预测神经活动。首先，我们关注下额下回脑回（IFG），然后扩展我们的模型，跟踪语言处理层次结构中从听觉到句法和语义区域的渐增时态感受窗口。我们的结果揭示了人类语言处理和 DLMs 之间的联系，DLM 的信息逐层累积上下文与高级语言区域的神经活动时机形成镜像关系。

Oct, 2023

本论文探讨了语言模型和大脑之间语言处理的关系，指出语言模型中特定的语言学信息对大脑对语言刺激的反应有显著的影响，并提供了新的方法来揭示两个系统之间的信息处理.

Dec, 2022

利用深度语言模型与人脑之间的相似性，以模型为基础的方法成功地复制了一项神经元相关语言研究，比较了听取常规和乱序叙述的七名受试者的功能磁共振成像，并进一步扩展和精确到 305 名听取 4.1 小时叙述故事的个体的脑信号，从而为大规模且灵活地分析语言的神经基础铺平了道路。

Oct, 2021

回顾了和人脑活动相关的人工语言模型研究，发现人工神经网络中单词意义的神经表征与其使用的密集词向量高度吻合，并且人工神经网络内部的处理层次与人脑有相似之处，但是依据研究的不同而有所不同。因此，建立人工神经网络作为自然语言理解过程模型的当前挑战之一是利用其高度结构化的表征几何来映射表征到脑数据。

Jan, 2023

研究发现，虽然语言模型和人类在处理语言时存在共同的计算原理，但它们在获取和使用语言方面存在明显差异，本研究通过比较语言模型的表示和人类大脑对语言的反应，发现语言模型并未很好地捕捉到情感理解、比喻语言处理和物理常识等三个现象，通过针对这些现象进行语言模型的细化调整，发现细化调整后的语言模型在这些任务中与人类大脑的反应更加一致，因此我们认为语言模型与人脑之间的差异可能源于语言模型对这些特定类型的知识的不足表示。

Nov, 2023

本研究证明对 BERT 模型进行微调，可提高其对人们阅读文本时脑活动的预测能力，模型学习到的语言与脑活动之间的关系可以跨越多个参与者，同时不影响模型在自然语言处理任务方面的表现，这对于研究大脑中的语言理解具有显著意义。

Oct, 2019

本文回顾了近年来自然语言处理领域的语言模型的发展，并探讨在研究语言模型中基于句法的研究中存在的问题以及解决方案，旨在为未来语言模型的研究提供一种较为多样化和立体化的研究视角。

Oct, 2021

基于自注意力机制的大型语言模型在语言处理和自然语言本身中取得了惊人的成绩，并且在不同性质的各种任务中也取得了成绩。本文在预测编码框架内提出了一个平均场学习模型，成功地验证了其在分类手写数字和玩具以及真实语言语料库中的有效性。因此，我们的模型为研究语言处理和意想不到的普遍智能的物理和生物对应关系提供了一个起点。

Sep, 2023

语言是理解和交流情境的关键，而语言处理系统使用类似人脑的神经网络以及查询注意力等方法来提高其能力，但当前的模型主要集中在内部语言任务上，限制其理解情境的能力，因此需要未来的模型应用认知神经科学和人工智能来扩展理解任务。

Dec, 2019

训练自然语言处理系统以深入理解语言是该领域的中心目标之一。本文从人类大脑理解自然语言的角度出发，研究了使用叙述数据集进行深层次叙事理解训练的语言模型是否真正学习了更深层次的文本理解，并表明了这种训练可以带来更好的大脑 - 自然语言处理对齐性、可以使语言模型在长距离文本理解方面取得改进。

Dec, 2022