语言模型中的因果图重新发现人类叙事处理中的皮质层级
本研究证明对BERT模型进行微调,可提高其对人们阅读文本时脑活动的预测能力,模型学习到的语言与脑活动之间的关系可以跨越多个参与者,同时不影响模型在自然语言处理任务方面的表现,这对于研究大脑中的语言理解具有显著意义。
Oct, 2019
利用深度语言模型与人脑之间的相似性,以模型为基础的方法成功地复制了一项神经元相关语言研究,比较了听取常规和乱序叙述的七名受试者的功能磁共振成像,并进一步扩展和精确到305名听取4.1小时叙述故事的个体的脑信号,从而为大规模且灵活地分析语言的神经基础铺平了道路。
Oct, 2021
本文探讨了使用神经语言模型对大脑活动进行研究的方法,主要研究了测试损失、训练语料库和模型架构对捕捉大脑活动的影响,并提出了未来研究的良好实践建议。
Jul, 2022
本论文探讨了语言模型和大脑之间语言处理的关系,指出语言模型中特定的语言学信息对大脑对语言刺激的反应有显著的影响,并提供了新的方法来揭示两个系统之间的信息处理.
Dec, 2022
深度语言模型(DLMs)为理解人脑中自然语言处理机制提供了一种新的计算范式。通过使用分层连续数值向量来表示单词和上下文,DLMs与传统的心理语言学模型不同,从而产生了大量新兴应用,如人类般的文本生成。本文通过展示DLMs的分层层次结构可以模拟大脑中语言理解的时间动态性,从而证明了DLMs的层深与层是否最能预测人脑之间存在强相关。我们利用高时序分辨率的电皮层图谱(ECoG)数据记录参与者在听取一个30分钟叙述时的神经活动,同时将相同的叙述输入高性能DLM(GPT2-XL)中。然后,我们提取DLM的不同层中的上下文嵌入,并使用线性编码模型预测神经活动。首先,我们关注下额下回脑回(IFG),然后扩展我们的模型,跟踪语言处理层次结构中从听觉到句法和语义区域的渐增时态感受窗口。我们的结果揭示了人类语言处理和DLMs之间的联系,DLM的信息逐层累积上下文与高级语言区域的神经活动时机形成镜像关系。
Oct, 2023
文本和语音语言模型能够准确预测脑部活动,但是消除特定的低级刺激特征后发现语音模型失去了对大脑的预测能力,进一步研究显示语音模型需要改进以更好地反映大脑的语言处理。
Nov, 2023
研究发现,虽然语言模型和人类在处理语言时存在共同的计算原理,但它们在获取和使用语言方面存在明显差异,本研究通过比较语言模型的表示和人类大脑对语言的反应,发现语言模型并未很好地捕捉到情感理解、比喻语言处理和物理常识等三个现象,通过针对这些现象进行语言模型的细化调整,发现细化调整后的语言模型在这些任务中与人类大脑的反应更加一致,因此我们认为语言模型与人脑之间的差异可能源于语言模型对这些特定类型的知识的不足表示。
Nov, 2023
比较神经语言模型和心理可信模型,发现心理可信模型在多种多样的背景下(包括多模态数据集、不同语言等)表现更优,尤其是在融合具象信息的心理可信模型中,对单词和段落层面的大脑活动预测表现最佳。
Apr, 2024