语言表征空间中的低维结构在大脑响应中有所体现

Jun, 2021

语言表征空间中的低维结构在大脑响应中有所体现

Low-Dimensional Structure in the Space of Language Representations is Reflected in Brain Responses

Richard Antonello, Javier Turek, Vy Vo, Alexander Huth

TL;DR研究了神经语言模型、翻译模型和语言标注任务中学习到的表示之间的关系，发现了一种低维的语言表示嵌入模型，可以编码处理各种 NLP 任务所需的表示之间的关系，并且可以用来预测各种特征空间与人类大脑对自然语言刺激的响应之间的映射关系，同时主要维度可以用于创建显示大脑的语言处理层次结构的度量。

Abstract

How related are the representations learned by neural language models, translation models, and language tagging tasks? We answer this question by adapting an encoder-decoder transfer learning method from computer

neural language models translation models language representations nlp tasks language processing hierarchy

发现论文，激发创造

人工和人类神经语言表示的关联

对比句子编码模型在大脑解码任务上的表现，发现语法轻量级表示能够显著提高脑解码性能，这一结果限制了自然语言理解模型解释人类大脑语言功能的空间，同时也揭示了使用 fMRI 人脑成像技术解码精细句法信息的局限性。

Oct, 2019

上下文化词表示的低维线性几何

本文研究了 ELMO 和 BERT 中的单词表示的线性几何，发现低维子空间编码了各种语言特征，包括结构化依赖关系，子空间之间存在着层次关系，可以用于对 BERT 的输出分布进行细粒度的操作。

May, 2021

并非所有语言模型特征都是线性的

语言模型利用线性表示假说来执行计算，但我们研究表明某些语言模型的表示可能是固有的多维的。我们开发了一种基于不可约多维特征的严格定义，用于确定这些特征是否能够分解为独立或非共现的低维特征。通过使用稀疏自动编码器自动发现 GPT-2 和 Mistral 7B 中的多维特征，这些自动发现的特征包括具有显著可解释性的例子，例如表示星期和月份的圆形特征。我们确定了使用这些确切圆形特征来解决涉及星期和月份的模块算术计算问题的任务。最后，通过对 Mistral 7B 和 Llama 3 8B 进行干预实验，我们提供了这些圆形特征在这些任务中确实是计算的基本单元的证据，并通过分解这些任务的隐藏状态为可解释的组件，找到了更多的圆形表示。

May, 2024

人类概念结构的行为估计在任务上很稳健，但在大型语言模型中不稳定

本文探讨使用认知心理学方法估计和比较人类和 GPT-3 的概念表征结构，结果表明语义结构的估计在人类之间保持一致，而在 GPT-3 中则取决于所使用的任务。

Apr, 2023

语言表征实际代表着什么？

本文研究表明神经语言模型在多语言语料库上的训练可以用来学习语言的分布式表示，尤其是在语料库被翻译成英文的情况下。我们研究了语言表示与各种相似性之间的相关性和因果关系，发现结构相似是最能影响语言表示相似性的，而遗传关系则是一个混淆因素。这项研究可以促进自然语言处理和语言学的相互发展。

Jan, 2019

自然语言多任务：分析和提高隐藏表示的句法显著性

训练多任务自动编码器进行语言任务，分析学习到的句子隐藏表示。加入翻译和词性解码器时，表示将显着改变。使用的解码器越多，模型根据句法相似性对句子进行聚类的效果越好。通过插值句子来探索表示空间的结构，得出很多有可识别句法结构的伪英语句子。最后，我们指出了模型的一个有意思的特性：两个句子之间的差分向量可以添加到第三个具有类似特征的句子中，以有意义的方式改变它。

Jan, 2018

大型语言模型朝向类脑词表示的收敛

大型语言模型的神经表示与脑成像测量的神经响应非常相似，因此表明该模型可以产生类人的表示。

Jun, 2023

大型语言模型和大脑中的上下文特征提取层次汇聚

通过研究使用大型语言模型（LLMs）探索人工神经处理和语言理解之间相似性的因素，我们发现随着 LLMs 在基准任务上性能的提高，它们不仅在预测 LLM 嵌入的神经相应性时表现出更高的脑部相似性，而且它们的分层特征提取路径与大脑的映射更为密切，并且使用较少的层进行相同的编码。此外，我们还比较了不同 LLMs 的特征提取路径，发现高性能模型在层次化处理机制方面更多地趋同。最后，我们展示了上下文信息在提高模型性能和与大脑相似性方面的重要性，并揭示了大脑和 LLMs 语言处理的融合特点，为开发更加与人类认知处理密切相关的模型提供了新方向。

Jan, 2024

基于浅层未训练多头注意力网络的类脑语言处理

通过研究大型语言模型，该论文揭示了语言模型与人类大脑的相似性，重点分析了架构组件中的分词策略和多头注意力以及需求确定性的关键因素，最终提出了一种高度与人类大脑和行为对齐的模型。

Jun, 2024

调音至神经编码：将人脑与人工监督的语言表达连接起来

我们通过研究任务调整如何影响预训练的 Transformer 用于神经编码，并确定了对大脑激活模式有最高预测能力的任务类型，展示了通过 prompt-tuning 生成的监督表示比传统的微调在四个任务上更好地预测对中文刺激的神经反应。此外，我们还揭示了经过微调的模型的调整参数比例对神经编码性能的影响。总体而言，我们的实验结果有助于更好地理解监督人工和脑语言表示之间的关系。

Oct, 2023