通过局部属性的研究,探究了 DNN 的表达能力和优化技术对其决策边界的影响,并希望这一研究能够启示新型优化技术的设计和发现 DNN 的行为模式。
Jan, 2020
本文主要探讨了几种几何深度学习问题以及目前存在的解决方案、主要困难、应用和未来研究方向。这些问题涉及非欧几里得域,需要使用结构化的深度神经模型来解决。
Nov, 2016
该研究通过几何视角揭示深度学习的关键在于学习数据的流形结构和概率分布,并提出一种控制潜在空间中概率分布的最优质量传递理论。
May, 2018
这篇论文提出了一个以卷积神经网络为基础的统一框架,以推广 CNN 的应用领域到非欧几里得结构的数据,如图形和流形,并且发现这个框架可以在图像、图形和三维形状分析的标准测试中取得更好的性能。
通过统一的几何原理,深度学习可以更好地揭示基本规律,提供数学框架来研究卷积神经网络、循环神经网络、图神经网络和变压器网络等神经网络,且可以将物理学知识结合到神经网络结构中,从而提供了未来神经网络结构的原则性方法。
Apr, 2021
本研究通过提供一种数学框架来计算分段线性网络的线性区域数量和边界体积,证明神经网络在初始化时的线性区域数量沿任何一维子空间的平均值是总神经元数的线性增长,远低于指数上界,我们得出结论:神经网络的实际表达能力可能远低于理论最大值,并可以量化。
Jan, 2019
本文研究了深度神经网络在输入空间中的几何属性,通过系统实证研究发现,深度神经网络具有连通的分类区域并且其在数据点附近的决策边界在大多数方向上是平坦的,同时该文进一步证明了深度神经网络曲率决策边界的本质联系,最终提出了一种基于决策边界曲率的小型对抗样本检测方法。
May, 2017
本文旨在比较和描述神经网络结构在几何和拓扑方面的内部表示和层间数据流动的拓扑和几何动态变化,并使用拓扑数据分析和持久性同调分形维数的概念,通过不同层次的数据集以及卷积神经网络和转换网络在计算机视觉和自然语言处理任务中的各种配置的广泛实验,为可解释的和可解释的 AI 的发展做出了贡献。
Jun, 2023
该研究使用均场理论流形分析来分析来自大规模上下文嵌入模型的语言表示,发现在不同的模型家族中出现了语言流形的证据,尤其是在多义词和包含许多单词的词性类别中,此外,发现这些流形中的线性可分性的出现是由流形半径、维度和流形间相关性的共同减少所驱动的。
Jun, 2020
研究神经网络的深度和节点的线性区分性对于复杂计算的影响,并在对多个模型类型的分析中提出新的关于深度优势的理论结果,同时研究了高层次单元的行为。
Feb, 2014