ICMLJun, 2020

深度语言表示中可分离流形的出现

PDF
TL;DR该研究使用均场理论流形分析来分析来自大规模上下文嵌入模型的语言表示，发现在不同的模型家族中出现了语言流形的证据，尤其是在多义词和包含许多单词的词性类别中，此外，发现这些流形中的线性可分性的出现是由流形半径、维度和流形间相关性的共同减少所驱动的。
deep neural networksmean-field theoretic manifold analysiscontextual embedding modelslinguistic manifoldslinear separability
发现论文，激发创造
  • 使用任务相关的神经流形研究生物和人工神经网络

    通过神经群体几何的角度研究神经网络的内部机制，利用统计物理学中的流形容量理论和高维统计学中的流形对齐分析，定量表征深度神经网络和猕猴神经记录中不同学习目标导致的组织策略差异，并展示这些几何分析与任务相关信息的解码能力之间的联系。这些分析为在神经网络中桥接机制和规范性理论提供了一个重要方向，可能在机器学习和神经科学中开辟了许多未来的研究途径。

    Dec, 2023

  • 一般感知流形的分类与几何学

    通过统计力学的理论，研究了一个读出网络从感知流形表示中分类对象的能力，并开发了一种能解释来自神经元反应的对象刺激数据统计力学的线性分类模型框架。

    Oct, 2017

  • 使用混合模型 CNN 对图和流形进行几何深度学习

    这篇论文提出了一个以卷积神经网络为基础的统一框架，以推广 CNN 的应用领域到非欧几里得结构的数据，如图形和流形，并且发现这个框架可以在图像、图形和三维形状分析的标准测试中取得更好的性能。

    Nov, 2016

  • 从流形学习的角度看深度神经网络架构

    本文旨在比较和描述神经网络结构在几何和拓扑方面的内部表示和层间数据流动的拓扑和几何动态变化，并使用拓扑数据分析和持久性同调分形维数的概念，通过不同层次的数据集以及卷积神经网络和转换网络在计算机视觉和自然语言处理任务中的各种配置的广泛实验，为可解释的和可解释的 AI 的发展做出了贡献。

    Jun, 2023

  • 深度网络与多重流形问题

    研究神经网络中的多重流形问题，证明当网络深度相对于数据的几何和统计属性较大时，其宽度作为统计资源，使随机初始化网络的梯度集中，而其深度作为拟合资源，更易于分离类流形，基于神经切向核及其在训练超参数化神经网络方面的作用，我们为深度全连接网络的神经切向核提供了完全优化的集中速率。

    Aug, 2020

  • 深度神经网络中的降维压缩和扩展

    本研究发现神经网络可以学习较低维度的流形，从而在高维数据空间中分解数据，同时又能取得良好的泛化性能，重点关注降维和流形的内在维度等方面。

    Jun, 2019

  • 隐蔽的洞：语言模型的拓扑学问题

    通过研究基于原始文本数据训练的自回归神经语言模型中出现的表示流形的拓扑属性，我们引入计算代数拓扑学的工具，使用其作为拓扑复杂度的度量标准（称为穿孔），以研究 GPT 的拓扑结构随深度和时间的演变，与门控循环模型进行比较，发现门控循环模型表现出更多的拓扑复杂性，并呈现了一种在所有自然语言中普遍存在但在合成生成数据中不存在的变化模式。该论文通过对这些模型在自然语言文本语料库中的句子条件下所引起的向量云的形状进行研究，详细分析了这些模型衍生的表示流形。该论文的主要贡献是关于 Transformer 与基于 LSTM 的神经网络架构的拓扑结构的显著观察，提示进一步研究这些神经网络的数学特性以理解大型 Transformer 语言模型的运作方式。我们希望这项工作能在自然语言处理领域激发更多对这个方向的探索。

    Jun, 2024

  • 深度学习的几何理解

    该研究通过几何视角揭示深度学习的关键在于学习数据的流形结构和概率分布，并提出一种控制潜在空间中概率分布的最优质量传递理论。

    May, 2018

  • 学习神经场的信号不可知流形

    通过利用神经网络学习数据集的潜在结构，构建 GEM 模型，实现跨模态音像的模态无关表达与样本生成

    Nov, 2021

  • 具有变分李群算子的流形对比学习

    本文提出了一种对抗学习方法，使用 Lie 群算子直接建模深度神经网络的潜在流形，在图像数据自监督评估和少标注的半监督任务中都表现出了良好的性能。

    Jun, 2023