Jan, 2024

线性卷积网络的代数复杂度与神经多样性

PDF
TL;DR通过引入递归算法，我们生成多项式方程，其共同零点对应于相应神经多丘道的 Zariski 闭包。此外，我们还利用度量代数几何的工具来研究训练这些网络的代数复杂度。我们的研究发现，此类网络的优化中的所有复杂临界点的数量等于 Segre 多样性的一般欧几里得距离度。值得注意的是，这个数量显著超过了具有相同参数数量的全连接线性网络的训练中遇到的关键点数量。
发现论文，激发创造
  • 多项式神经网络的几何

    研究使用单项式激活函数的多项式神经网络 (PNNs) 的表达能力和学习过程。探讨了使用代数几何工具对某些神经流形进行研究：给出了半代数集的显式描述，并表征了其 Zariski 闭包，称之为神经多样性。研究了神经多样性的维度，并将一个代数度量，即学习度，与神经多样性相关联。维度用作网络表达能力的几何度量，学习度用作训练网络的复杂度度量，并提供了可学习函数数量的上限。这些理论结果与实验证明相伴。

    Feb, 2024

  • 线性卷积网络的函数空间和临界点

    本文研究了带有一维卷积层的线性网络的几何学问题，描述了网络的体系结构对函数空间的维度、边界和奇异点的影响，并研究了训练带有平方误差损失的网络的优化问题和网络参数化映射的关键点。

    Apr, 2023

  • 从复杂到清晰：通过 Clifford 的几何代数和凸性分析深度神经网络权重的解析表达

    基于几何 (克利福德) 代数和凸优化，我们介绍了一种新的神经网络分析方法，显示出深度 ReLU 神经网络的最优权重是通过训练样本的外积给出的，并且训练问题可以化简为对外积特征进行凸优化，这些特征编码了训练数据集的几何结构，其中几何结构通过数据向量生成的三角形和平行六面体的符号体积给出。

    Sep, 2023

  • 单纯二维复形卷积神经网络

    在 Simplicial 2 - 复合体中，我们开发了一个卷积神经网络层，以处理具有图形或超图结构的数据，这提供了图形结构和超图结构之间的中间地带。

    Dec, 2020

  • 等价线性神经网络集合的几何结构

    线性神经网络中的权重向量对应的纤维是一个代数多样体，称为纤维，具有层次结构的代数多样体，称为等级分层，每种模式由分层所代表，纤维的拓扑取决于权重向量的分解，以及其几何形状。

    Apr, 2024

  • 复值神经网络的计算复杂度

    本文介绍了复值神经网络（CVNNs）的计算复杂度，对浮点运算的数量进行了定量估计，并研究了一些相关研究中所讨论的 CVNNs 的计算复杂度，以便在低功耗系统中实现 CVNNs 算法。

    Oct, 2023

  • CayleyNets：利用复数有理谱滤波器的图卷积神经网络

    本文介绍了一种新的基于谱域卷积架构的图像深度学习模型，其中核心成分是一类新的参数有理复合函数（Cayley 多项式），允许在图像上高效地计算频带感兴趣的谱滤波器，具有分布在空间中的丰富的谱滤波器，线性地扩展到稀疏连接的图像的输入数据的规模，并且可以处理不同构造的拉普拉斯算子等。通过应用于谱图像分类、社区检测、顶点分类和矩阵完成任务等广泛实验结果表明，我们的方法比其他谱域卷积架构具有更好的性能。

    May, 2017

  • ZerNet: 通过 Zernike 本地切空间估计在任意曲面上使用卷积神经网络

    本文提出了使用正交基函数 Zernike 多项式在二维流形上扩展卷积神经网络的新方法，用于对几何特征进行编码和数学量化，并实现了 CNN 基本构建块的数学推广。

    Dec, 2018

  • 深度卷积神经网络特征提取的数学理论

    本文提出了一种基于波浪变换、线性非线性映射、平移不变性和形变稳定性的特征提取器，可以适用于不同的网络层，并且在网络深度增加时特征越来越具有平移不变性；同时，本文还建立了对带限函数、卡通函数和 Lipschitz 函数等信号类应用的变形敏感度边界。

    Dec, 2015

  • 关于复数卷积神经网络的数学动机

    该研究论文提出利用复值卷积神经网络实现多尺度窗口谱、非线性多小波包等计算，具有更严格的数学分析方法以及新的应用方向。

    Mar, 2015