Oct, 2023

揭示大型语言模型中的核心语言区域

PDF
TL;DR通过进行类比研究，本文发现大型语言模型中存在一个与语言能力对应的核心区域，占据总模型参数的约 1%。该核心区域表现出显著的维度依赖性，对特定维度上的单个参数的扰动可能导致语言能力的丧失。此外，我们观察到语言能力的提高并不一定伴随模型知识水平的提升，这可能暗示着与语言区分离的领域知识区域存在。总的来说，探索大型语言模型的功能区域为我们提供了有关其智能基础的见解。未来，我们将继续研究语言模型内部的知识区域及其之间的互动。
brain localizationlarge language modelslinguistic competenceknowledge regionsintelligence emergence
发现论文，激发创造
  • 大型语言模型中的语言区域揭示

    通过对语言模型的功能区域进行探索，揭示了其智能化基础，发现其核心区域与语言能力相关，移除该区域会显著降低其性能，在不同的单语家族中存在不同的区域，并且破坏这些特定区域会大幅降低多语言模型在相应语言中的能力。此外，冻结核心语言区域在进一步预训练中可以缓解灾难性遗忘问题。

    Feb, 2024

  • 大型语言模型中语言和思维的分离：认知角度

    今天的大型语言模型 (LLMs) 可以生成连贯的，符合语法的、有意义的文本段落，但在如人类思维一样的实际语言使用中，大多数测试需要功能语言能力，从认知神经科学的证据中，我们显示出 LLMs 显示出令人印象深刻（虽然不完美）的正式语言能力的任务，但在需要功能能力的许多测试中失败了。

    Jan, 2023

  • 语言特定神经元：大型语言模型多语能力的关键

    通过新的检测方法 - 语言激活概率熵（LAPE），我们研究了大型语言模型中的 Transformer 架构，以确定语言特定的区域，并显示了激活或关闭特定语言神经元对大型语言模型输出语言的可控性。

    Feb, 2024

  • 大型语言模型和大脑中的上下文特征提取层次汇聚

    通过研究使用大型语言模型（LLMs）探索人工神经处理和语言理解之间相似性的因素，我们发现随着 LLMs 在基准任务上性能的提高，它们不仅在预测 LLM 嵌入的神经相应性时表现出更高的脑部相似性，而且它们的分层特征提取路径与大脑的映射更为密切，并且使用较少的层进行相同的编码。此外，我们还比较了不同 LLMs 的特征提取路径，发现高性能模型在层次化处理机制方面更多地趋同。最后，我们展示了上下文信息在提高模型性能和与大脑相似性方面的重要性，并揭示了大脑和 LLMs 语言处理的融合特点，为开发更加与人类认知处理密切相关的模型提供了新方向。

    Jan, 2024

  • 大型语言模型在大脑中的映射是什么？反对过度依赖脑部评分的案例

    使用大型语言模型研究大脑信号，通过测量模型的预测能力和大脑的相似性，关注大脑活动对语言处理的核心元素，并发现过度依赖大脑信号评分可能导致对大型语言模型与大脑相似性的过度解读。

    Jun, 2024

  • 关于大型语言模型（LLM）的脑科学评分形状研究

    利用大型语言模型（LLMs）和人脑 / 神经系统之间的功能相似性评估指标 “Brainscore”，通过构建人类 fMRI 数据和多个 LLMs 及其未训练对象的拓扑特征，进行了线性回归模型训练和统计分析，揭示了在多个感兴趣脑区和半球中解释现有 brainscores 的独特特征组合，对推进可解释的机器学习（iML）研究具有重要意义。这项研究是首次尝试在这个跨学科领域理解这一创新指标 brainscore 的努力。

    May, 2024

  • 基于浅层未训练多头注意力网络的类脑语言处理

    通过研究大型语言模型，该论文揭示了语言模型与人类大脑的相似性，重点分析了架构组件中的分词策略和多头注意力以及需求确定性的关键因素，最终提出了一种高度与人类大脑和行为对齐的模型。

    Jun, 2024

  • 多层次的大型语言模型面向大众

    通过将多个大型语言模型联结在一起，建立一个更大的映射，可以使通用模型和特定领域模型相互关联并进行改进。该研究灵感来自于人脑的功能，特定的大脑皮层区域在低级功能上具有特异性，在高级功能上通过协同工作实现复杂的功能。该多级语言模型在全局级别、领域级别和用户级别上工作，实现高效响应并保护用户隐私，从而减少冗余并取得更好的性能。该研究成果可应用于自然语言处理、计算机视觉、专业助手、商业和医疗等多个领域。

    Jul, 2023

  • 大型语言模型是否反映认知语言处理？

    大型语言模型（LLM）在文本理解和逻辑推理方面表现出了非凡的能力，在多个认知任务中实现或甚至超过了人类水平的表现。本文提出了一种新的方法，通过将 LLM 表示与人类认知信号进行桥接，评估 LLM 在模拟认知语言处理方面的有效性。我们采用了表示相似性分析（RSA）来衡量 16 个主流 LLM 与脑部 fMRI 信号之间的对齐程度。实证研究调查了多种因素（如模型扩展、对齐训练、指令附加）对 LLM - 脑信号对齐的影响。实验结果表明，模型扩展与 LLM - 脑信号相似性呈正相关，对齐训练可以显著提高 LLM - 脑信号相似性。此外，广泛的 LLM 评估（如 MMLU，Chatbot Arena）的性能与 LLM - 脑信号相似性高度相关。

    Feb, 2024

  • 大型语言模型如何处理多语种能力？

    大型语言模型在跨多种语言表现出卓越的性能。本文探讨了大型语言模型处理多语言的方式，提出了一个处理多语言输入的框架，并利用该框架验证其有效性，并展示如何通过该框架有效提升多语言能力。

    Feb, 2024