Transformer 网络的拓扑结构

Mar, 2024

The Topos of Transformer Networks

Mattia Jacopo Villani, Peter McBurney

TL;DR通过拓扑理论的视角对变压器神经网络的表达能力进行理论分析，发现许多常见的神经网络架构可以嵌入到分段线性函数的前拓扑中，而变压器必须位于其拓扑完成中，并且指出这两种网络家族实例化了不同的逻辑片段：前者是一阶的，而变压器是高阶推理器，并且将其分析与架构搜索和梯度下降相类比，将其整合到了对测控系统的框架中。

Abstract

The transformer neural network has significantly out-shined all other neural network architectures as the engine behind large language models. We provide a theoretical analysis of the expressivity of the transfor

transformer neural network expressivity topos theory neural network architectures cybernetic agents

发现论文，激发创造

Transformer 简介

本文将准确而简洁介绍变形器体系结构的数学原理，以及设计决策背后的洞察。

Apr, 2023

隐蔽的洞：语言模型的拓扑学问题

通过研究基于原始文本数据训练的自回归神经语言模型中出现的表示流形的拓扑属性，我们引入计算代数拓扑学的工具，使用其作为拓扑复杂度的度量标准（称为穿孔），以研究 GPT 的拓扑结构随深度和时间的演变，与门控循环模型进行比较，发现门控循环模型表现出更多的拓扑复杂性，并呈现了一种在所有自然语言中普遍存在但在合成生成数据中不存在的变化模式。该论文通过对这些模型在自然语言文本语料库中的句子条件下所引起的向量云的形状进行研究，详细分析了这些模型衍生的表示流形。该论文的主要贡献是关于 Transformer 与基于 LSTM 的神经网络架构的拓扑结构的显著观察，提示进一步研究这些神经网络的数学特性以理解大型 Transformer 语言模型的运作方式。我们希望这项工作能在自然语言处理领域激发更多对这个方向的探索。

Jun, 2024

基于 Transformer 网络的序列建模近似理论

本文探讨了 Transformer 在逼近序列关系上的能力和结构属性，通过证明其 hypothesis 空间的普适逼近定理，得出了一种新的正则化概念，并对其逼近率进行了显式估计，进而揭示了其与传统序列建模方法之间的结构偏差。

May, 2023

一种将 Transformer 网络泛化至图形数据的方法

本文提出了一种用于任意图的变形器神经网络结构，在注意力机制中使用了邻域连接性，用拉普拉斯特征向量代替位置编码，使用批量归一化层代替层归一化，支持边特征表示。实验表明，该结构的性能优于传统的 transformer 模型。

Dec, 2020

变压器：理论基础和应用

该文章主要介绍了 Transformers，这是一种神经网络体系结构，用于解决各种问题，包括自然语言处理、声音、图像、强化学习和其他具有异构输入数据的问题。其独特之处在于其基于自我序列的自我注意力系统，本文介绍了构成此类型网络的数学和算法基础，以及其不同组件和变化的应用。

Feb, 2023

用进化功能化的人工神经网络

提出了一种基于张量微积分和拟达尔文机制的混合模型，用于寻找适合于策略、控制和模式识别任务的拓扑结构，并且能够在早期演化阶段提供适应的拓扑结构，从而在机器人，大数据和人工生命等领域得到应用。

May, 2022

从流形学习的角度看深度神经网络架构

本文旨在比较和描述神经网络结构在几何和拓扑方面的内部表示和层间数据流动的拓扑和几何动态变化，并使用拓扑数据分析和持久性同调分形维数的概念，通过不同层次的数据集以及卷积神经网络和转换网络在计算机视觉和自然语言处理任务中的各种配置的广泛实验，为可解释的和可解释的 AI 的发展做出了贡献。

Jun, 2023

关注拓扑空间：细胞变换器

拓扑深度学习通过利用输入数据中的拓扑结构来提高神经网络模型的预测性能。本文介绍了一种新颖的架构，称为细胞变换器（CT），它将基于图的变换器泛化到细胞复杂体上，并通过将三个图数据集转换为细胞复杂体数据集的实验证明，CT 不仅实现了最先进的性能，而且无需更复杂的增强措施，如虚拟节点、域内结构编码或图重连。

May, 2024

旅行之词：Transformer 的几何解释

通过引入新颖的几何视角，本文揭示了 Transformer 操作的内部机制，主要贡献在于说明层归一化将潜在特征限制在一个超球面上，从而使得注意力能够塑造单词在这个表面上的语义表示。通过对经过预训练的 124M 参数的 GPT-2 模型进行探究，我们的发现揭示了早期层中的清晰查询 - 键注意力模式，并在更深层次上进一步构建了关于注意力头部的特定主题性的先前观察。利用这些几何洞察，我们给出了 Transformer 的直观理解，将其描述为沿着超球面的词粒子的轨迹的建模过程。

Sep, 2023

拓扑神经网络：通过高阶交互缓解图神经网络的瓶颈问题

图神经网络在图结构化数据的表示学习任务中具有捕捉局部和全局模式的能力，但是长程和高阶依赖性带来了挑战。为了解决此问题，该论文提出了拓扑神经网络，并引入了基于拓扑结构的消息传递机制和多元关系归纳偏置，以更好地捕捉依赖关系和设计各向异性聚合方法。此外，还介绍了增强型细胞同构网络，通过增加拓扑消息传递机制，使环形结构中的节点组之间能够直接进行交互。

Feb, 2024