潜在图像流形的数据表示研究
通过对深度神经网络中概念流形的几何测量,研究发现曲率失衡会导致模型偏差,进而提出一种曲率正则化方法来平衡概念流形的几何特征,取得了良好的性能改进效果。
Mar, 2023
本文旨在比较和描述神经网络结构在几何和拓扑方面的内部表示和层间数据流动的拓扑和几何动态变化,并使用拓扑数据分析和持久性同调分形维数的概念,通过不同层次的数据集以及卷积神经网络和转换网络在计算机视觉和自然语言处理任务中的各种配置的广泛实验,为可解释的和可解释的 AI 的发展做出了贡献。
Jun, 2023
本文提出了一种基于卷积流形的新型潜在模型用于大规模数据集的自然图像学习,该模型可用于多种图像修复任务,包括大空洞修补、超分辨率和上色等,相比于其他模型,本模型在一定范围内表现更为优异。
Jun, 2018
本文提出一种基于 Riemannian geometry 和 product manifolds 的可微分图模块,用于推断连接数据的复杂潜在图结构。该方法不仅可以动态地学习数据的内在结构,还可以在性能上对现有方法进行改进并成功地在各种数据集上进行了测试。
Nov, 2022
这篇论文提出了一个以卷积神经网络为基础的统一框架,以推广 CNN 的应用领域到非欧几里得结构的数据,如图形和流形,并且发现这个框架可以在图像、图形和三维形状分析的标准测试中取得更好的性能。
Nov, 2016
本文讨论了流形假设不适当地捕捉了图像数据中典型的低维结构。我们考虑流形联合假设,并在常用图像数据集上进行实证验证,发现观察到的数据在一个不相连的集合上。我们还发现,针对这种结构设计具有归纳偏置的模型可以提高分类和生成建模任务的性能。
Jul, 2022
该研究使用均场理论流形分析来分析来自大规模上下文嵌入模型的语言表示,发现在不同的模型家族中出现了语言流形的证据,尤其是在多义词和包含许多单词的词性类别中,此外,发现这些流形中的线性可分性的出现是由流形半径、维度和流形间相关性的共同减少所驱动的。
Jun, 2020
深度神经网络的泛化能力在参数空间的损失景观形状和特征空间(即单位活动的空间)的表示流形结构两个不同的方法中已经被研究,但很少一起研究并显式连接。我们提出了一个简单的分析,建立了它们之间的联系,并展示了表明在深度神经网络的学习的最后阶段,神经表示流形的体积压缩与参数优化过程中所探索的最小值周围的损失的平坦性相关的结果。
Oct, 2023
研究神经网络中的多重流形问题,证明当网络深度相对于数据的几何和统计属性较大时,其宽度作为统计资源,使随机初始化网络的梯度集中,而其深度作为拟合资源,更易于分离类流形,基于神经切向核及其在训练超参数化神经网络方面的作用,我们为深度全连接网络的神经切向核提供了完全优化的集中速率。
Aug, 2020
本文研究了深度神经网络在输入空间中的几何属性,通过系统实证研究发现,深度神经网络具有连通的分类区域并且其在数据点附近的决策边界在大多数方向上是平坦的,同时该文进一步证明了深度神经网络曲率决策边界的本质联系,最终提出了一种基于决策边界曲率的小型对抗样本检测方法。
May, 2017