本研究证明对BERT模型进行微调,可提高其对人们阅读文本时脑活动的预测能力,模型学习到的语言与脑活动之间的关系可以跨越多个参与者,同时不影响模型在自然语言处理任务方面的表现,这对于研究大脑中的语言理解具有显著意义。
Oct, 2019
本文介绍了基于贝叶斯层级模型的方法,应用于神经和行为数据分析,特别是应用于事件相关电位(ERP),并通过一个以单词惊奇值和神经响应为例的实验数据进行了模拟和解释。
Jul, 2022
本论文探讨了语言模型和大脑之间语言处理的关系,指出语言模型中特定的语言学信息对大脑对语言刺激的反应有显著的影响,并提供了新的方法来揭示两个系统之间的信息处理.
Dec, 2022
该文提出了一个基于信息理论的人类语言处理模型,观点是内在的语言输入在启发式解释和错误校正的两个层次上处理,由此提出两种信息处理的脑电信号(N400和P600)和由现代自然语言处理技术获得的surprisal量。该理论通过成功模拟实验证据,可以为传统的认知理论提供精确的信息理论解释。
该研究使用信息限制的自然语言处理模型研究了神经语言学中与句法和语义处理有关的脑区及其空间组织,并发现左右半球在语义和句法处理方面存在差异且在上下文范围和集成窗口方面敏感性不同。
Feb, 2023
本文提出了ROSE模型作为一种神经计算架构来处理自然语言处理中的语法问题,并使用神经振荡模拟大脑处理各种语言过程的机制。
Mar, 2023
通过对11种不同语言进行研究,我们发现惊奇理论与阅读时间之间存在跨语言的联系,验证了三个预测:惊奇度是否预测阅读时间、预期惊奇度是否预测阅读时间、以及惊奇度与阅读时间之间的联系是否是线性的,从而在更多语言上提供了信息论与递增语言处理之间至今最强大的连接。
Jul, 2023
使用计算模型进行大脑研究需要丰富的测试数据集和严格的实验控制,该论文通过评估不同的计算模型在相同数据集上的表现,突出了计算模型在大脑研究中的新兴趋势。
Mar, 2024
使用信息论将语言理解建模为准确性和处理深度之间的最佳折衷,将处理深度与EEG信号和阅读时间联系起来,从浅到深地量化语言处理的时间进程,提供一个统一框架来解释语言理解的行为和神经特征。
May, 2024
本研究检验了语言模型和人脑处理语言的关系,并强调了在不同层面上研究这些系统的内部过程的重要性。通过从神经科学中获取的洞察,如稀疏性、模块化、内部状态和交互学习,可以为更具生物学可信度的语言模型的开发提供启示。此外,我们探讨了缩放律在弥合语言模型与人类认知之间差距中的作用,强调了在类似生物系统的效率约束方面的需求。通过开发更接近大脑功能的语言模型,我们旨在推进人工智能和对人类认知的理解。
Jul, 2024