Feb, 2024

基于多重分形分析视角的 LLMs 中神经元间相互作用和出现的探索

PDF
TL;DR通过引入 “自组织” 和 “多重分形分析” 概念，我们探索了神经元在训练过程中动态演化的相互作用，从而导致 “出现”，反映了自然系统中微观相互作用引起复杂宏观行为的现象。利用神经元多重分形分析（NeuroMFA）定量分析训练过程中大模型中神经元之间持续演化的相互作用，我们对大语言模型中的出现行为进行了全面考察，从模型大小和训练过程的角度开辟了新的研究方向。
emergencelarge language modelsneuron interactionsself-organizationmultifractal analysis
发现论文，激发创造
  • 崛起学习：由新兴能力和单义性基础的研究

    通过研究不同规模的模型，我们发现在大型模型中达到更高性能的关键因素是单语义神经元的减少，提出了一种主动抑制单语义性的两阶段方法，并通过理论分析和实验证明了其有效性。该方法的适用性不限于大规模，但对于研究部门来说，将该研究扩展至非常大规模的数据集是吸引人的，但受到资源限制而不可能实现，期待 AI 公司的合作。

    Dec, 2023

  • 解密巴别塔：探索大型语言模型中的多语言激活模式

    通过将大型语言模型（LLMs）转换为专家混合（MoE）架构，分析其在处理各种语言时的专家激活模式，探索并发现非语言特定神经元和语言特定激活神经元的存在，并展示了仅利用高频激活神经元可以在保持相当性能的同时加速推理的可能性，这些发现为 LLMs 的多语言处理机制提供了启示，对指导 LLMs 的多语言训练和模型修剪具有重要意义。

    Feb, 2024

  • LLM 的神秘与魅力：对新能力的解释与分析的全面调查

    对大型语言模型的现象能力进行解释和分析的广泛调查，包括宏观和微观两个层面的研究，并强调了相关挑战和未来研究的潜在方向。

    Nov, 2023

  • 理解 FFNs 在 LLMs 中推动多语言行为的角色

    多语言模型（LLMs）中的多语言能力和处理机制的体系结构、激活模式和处理方法的深入分析的研究结果表明模型的层次结构和深度对多语言处理能力有影响。

    Apr, 2024

  • 语言特定神经元：大型语言模型多语能力的关键

    通过新的检测方法 - 语言激活概率熵（LAPE），我们研究了大型语言模型中的 Transformer 架构，以确定语言特定的区域，并显示了激活或关闭特定语言神经元对大型语言模型输出语言的可控性。

    Feb, 2024

  • 从人类行为角度探索语言模型

    基于人类行为学视角，我们探究了大型语言模型（LLMs）的预测过程和内部机制，通过将 LLMs 的值与眼动测量结果相关联，发现 LLMs 表现出与基于 RNN 的语言模型不同的预测模式。此外，随着前馈网络（FFN layers）的升级，记忆和语言知识编码的能力也逐渐提升直至达到巅峰，并转向注重理解能力。自注意力机制的功能分布在多个头部。最后，我们审查了门控机制，发现它们控制信息的流动，有些门控机制促进信息的传递，而其他门控机制则消除信息。

    Oct, 2023

  • 大型语言模型如何处理多语种能力？

    大型语言模型在跨多种语言表现出卓越的性能。本文探讨了大型语言模型处理多语言的方式，提出了一个处理多语言输入的框架，并利用该框架验证其有效性，并展示如何通过该框架有效提升多语言能力。

    Feb, 2024

  • 语言模型进化：迭代学习视角

    本文介绍了大型语言模型（LLMs）的迭代交互，以及多代理 LLM 系统和人类文化进化之间的相似之处，并运用迭代学习（IL）贝叶斯框架解释 LLMs 的一些行为特征，并通过实验证实了该理论框架的预测，有望更有效地预测和引导 LLMs 在期望的方向上的进化。

    Apr, 2024

  • 神经元专业化：利用内在任务模块化实现多语言机器翻译

    通过神经元特化，提出一种解决多语言翻译中干扰和促进知识转移的方法，并通过大量实验证明了其相比强基准模型的性能提升以及减少干扰并增加知识转移的效果。

    Apr, 2024

  • 从神经元到图形：大规模解释语言模型神经元

    该论文介绍了一种自动化的方法来解释大型语言模型中的神经元行为，并将其转化为可解释的图形表示，从而提高大型语言模型的可解释性和安全性。

    May, 2023