ICMLMar, 2021

使用深度网络在大脑中区分语法和语义

PDF
TL;DR通过对 GPT-2 的激活进行统计的方法，将语言模型的高维度激活分解成四个组合类别：词汇、组合、句法和语义表示，并发现组合表示比词汇表示更广泛地招募了大脑皮层网络，并且句法和语义共享一个分布式神经基础。该研究提出了一个多功能的框架来分离神经活动中的语言建构分布式表示。
language transformersbrain activitytaxonomycombinatorial classesfunctional magnetic resonance imaging
发现论文，激发创造
  • 信息限制神经语言模型揭示不同脑区对语义、句法和语境的敏感性

    该研究使用信息限制的自然语言处理模型研究了神经语言学中与句法和语义处理有关的脑区及其空间组织，并发现左右半球在语义和句法处理方面存在差异且在上下文范围和集成窗口方面敏感性不同。

    Feb, 2023

  • 神经语言任务分类：哪些自然语言处理任务最能预测 fMRI 脑活动？

    本文探索基于任务特征学习的 Transformer 模型在基于两个数据集的大脑编码预测中的表现和认知洞察，并发现语法和语义任务在处理阅读和听力刺激时在大脑区域上均具有良好的预测性能。

    May, 2022

  • 走向语言神经结构：深度学习与神经结构中的组合处理访问逻辑比较

    该文就深度学习模型 GPT 作为人类语言处理神经模型的适用性进行探讨，认为由于 GPT 在学习量、逻辑访问等方面与人类语言处理存在根本差异，因此必须采取补充方法探索大脑和认知之间的关系，并在学习和发展的基础上进行进一步研究。

    Oct, 2022

  • 通过分离语法和语义，在深度序列到序列模型中实现对组合概括的学习

    本文提出一种基于神经机器翻译的新模型 Syntactic Attention，采用分离语法与语义学习的方式训练，拥有捕捉人类语言组成性结构的能力，相较于标准深度学习方法在具有组成性泛化任务的数据集 SCAN 上表现显著优异。

    Apr, 2019

  • 基于模型的脑活动分析揭示 305 名被试语言层次结构

    利用深度语言模型与人脑之间的相似性，以模型为基础的方法成功地复制了一项神经元相关语言研究，比较了听取常规和乱序叙述的七名受试者的功能磁共振成像，并进一步扩展和精确到 305 名听取 4.1 小时叙述故事的个体的脑信号，从而为大规模且灵活地分析语言的神经基础铺平了道路。

    Oct, 2021

  • 从 Frege 到 chatGPT：语言、认知和深度神经网络中的组合性

    人工智能中的大型语言模型和深度神经网络通过学习组合性处理和元学习的方式，展示了复杂的认知行为，为人类认知研究提供了新的视角和可能性。

    May, 2024

  • 现代人工神经网络中的语言泛化和组合性

    该研究回顾了当前深度学习语言处理网络的主要创新，讨论了一系列研究表明深度网络能够进行微妙的语法依赖性泛化，但也不依赖于系统化的组合规则，这一现象应该引起语言学家和认知科学家的兴趣。

    Mar, 2019

  • 组合性作为词汇对称性

    该文章提出了一种基于数据分布的组合建模通用框架，证明了针对具有词汇表和组合函数的任何可分解任务都存在一族数据转换函数，可在训练数据上产生新的、格式正确的例子，进而说明即使在未知组合函数的情况下 (例如无法编写或推断符号语法), 也可以识别这些数据转换并对普通 RNN 和转换器序列模型进行数据增强，在 CLEVR-CoGenT 视觉问答数据集上获得了最先进的结果，在 COGS 语义分析数据集上获得了与专用模型架构相当的结果。

    Jan, 2022

  • 句法与语义的交汇：通过代理性探究语言模型的句法 - 语义接口

    以 semantic notion of agentivity 为例，研究了 large language models 在句法和语义交互方面的表现；作者创建了一个新颖的评估数据集，发现 GPT-3 的表现非常好，甚至比语法和语义语料库的统计结果还要好，这表明大语言模型可能对语言注释、理论测试和发现比某些任务的语料库更有用。

    May, 2023

  • 使用遮蔽注意力生成探测大脑上下文敏感性

    利用 GPT-2 变形金刚生成的单词嵌入来测试大脑对自然文本中背景信息的反应，结果表明语言网络中的大多数皮层对背景信息敏感，右半球对于较长场景的反应比左半球更敏感，支持以前的上下文敏感度分析并有助于量化每个体素的上下文整合窗口大小。

    May, 2023