大脑和语言模型中语言属性的联合处理
利用深度语言模型与人脑之间的相似性,以模型为基础的方法成功地复制了一项神经元相关语言研究,比较了听取常规和乱序叙述的七名受试者的功能磁共振成像,并进一步扩展和精确到305名听取4.1小时叙述故事的个体的脑信号,从而为大规模且灵活地分析语言的神经基础铺平了道路。
Oct, 2021
本文探讨使用众多的文本数据训练出来的预训练语言机器,对人脑语言理解的预测能力。研究发现,这两者之间的相似性是由下个词的预测机制引起的。作者的实验发现,对机器的语料库进行特定的自然文本刺激文本预测下个词,可以显著提高他们与大脑记录的对齐程度。然而,他们指出与大脑记录对齐的提高不仅仅是由于词汇级别或多词级别语义的改善,他们通过调整词序进一步证实这一点。
Dec, 2022
训练自然语言处理系统以深入理解语言是该领域的中心目标之一。本文从人类大脑理解自然语言的角度出发,研究了使用叙述数据集进行深层次叙事理解训练的语言模型是否真正学习了更深层次的文本理解,并表明了这种训练可以带来更好的大脑-自然语言处理对齐性、可以使语言模型在长距离文本理解方面取得改进。
Dec, 2022
该研究使用信息限制的自然语言处理模型研究了神经语言学中与句法和语义处理有关的脑区及其空间组织,并发现左右半球在语义和句法处理方面存在差异且在上下文范围和集成窗口方面敏感性不同。
Feb, 2023
文本和语音语言模型能够准确预测脑部活动,但是消除特定的低级刺激特征后发现语音模型失去了对大脑的预测能力,进一步研究显示语音模型需要改进以更好地反映大脑的语言处理。
Nov, 2023
通过研究使用大型语言模型(LLMs)探索人工神经处理和语言理解之间相似性的因素,我们发现随着LLMs在基准任务上性能的提高,它们不仅在预测LLM嵌入的神经相应性时表现出更高的脑部相似性,而且它们的分层特征提取路径与大脑的映射更为密切,并且使用较少的层进行相同的编码。此外,我们还比较了不同LLMs的特征提取路径,发现高性能模型在层次化处理机制方面更多地趋同。最后,我们展示了上下文信息在提高模型性能和与大脑相似性方面的重要性,并揭示了大脑和LLMs语言处理的融合特点,为开发更加与人类认知处理密切相关的模型提供了新方向。
Jan, 2024
比较神经语言模型和心理可信模型,发现心理可信模型在多种多样的背景下(包括多模态数据集、不同语言等)表现更优,尤其是在融合具象信息的心理可信模型中,对单词和段落层面的大脑活动预测表现最佳。
Apr, 2024
通过研究大型语言模型,该论文揭示了语言模型与人类大脑的相似性,重点分析了架构组件中的分词策略和多头注意力以及需求确定性的关键因素,最终提出了一种高度与人类大脑和行为对齐的模型。
Jun, 2024