Dec, 2023

学习的谐波：不变网络中出现普适的傅里叶特征

PDF
TL;DR我们在这项工作中正式证明，在特定条件下，如果神经网络对于一个有限群是不变的，那么它的权重将恢复该群的傅里叶变换。这为傅里叶特征的出现提供了数学解释，傅里叶特征是生物和人工学习系统中普遍存在的现象。即使对于非交换群，这些结果仍然成立，此时傅里叶变换编码了所有不可约幺正群表示。我们的研究结果对于对称性探索问题具有重要意义。具体来说，我们证明了从至少在某些限制范围内是近似不变的网络的权重中，可以恢复未知群的代数结构。总体而言，这项工作为不变神经网络表示的代数学习理论奠定了基础。
neural networkfourier transformfourier featuressymmetry discoveryalgebraic learning theory
发现论文，激发创造
  • 神经傅里叶变换：一种等变表征学习的通用方法

    提出了神经傅里叶变换（NFT）的概念，它是一种无需显式知道组在数据上的作用方式就可以学习组的潜在线性作用的通用框架。论文通过实验结果展示了 NFT 在不同场景下的应用。

    May, 2023

  • 神经网络对不变映射的通用逼近

    我们将神经网络的普适逼近定理推广到对于线性表示组不变或等变的映射，以建立一种像网络一样的计算模型，能够在能够逼近任何连续不变 / 等变映射的同时保持不变 / 等变。我们提出了完备的不变 / 等变网络的构造，通过引入中间多项式层，通过 Hilbert 和 Weyl 的定理证明了我们的构造方法。我们提出了适用于 SE（2）群的 “电荷守恒卷积” 模型，并证明其是连续 SE（2）等变信号变换的通用逼近器。

    Apr, 2018

  • 概率对称和不变神经网络

    本研究从概率对称性的角度考虑群不变性，建立功能性和概率对称性之间的联系，并得到了不变或等变于紧致群作用下的概率分布的生成功能表示。此表示完全表征了神经网络的结构，可用于模拟此类分布并提供了一般性的计算程序。

    Jan, 2019

  • 基于傅里叶变换的同变网络同构空间中的核与非线性设计

    从 Fourier 角度出发，我们在同质空间上引入了一种统一的群等变网络框架，其中考虑了张量值特征场及其卷积层前后的特征，通过利用提升特征场的 Fourier 系数的稀疏性，通过 Fourier 域统一推导卷积核并实现非线性激活，该方法在 spherical vector field regression、point cloud classification 和 molecular completion 等任务中达到了最先进的性能水平。

    Jun, 2022

  • 使用卷积神经网络学习稳定的群不变表示

    本文研究了转化群、深度卷积网络的不变性特性及其对稳定性的影响，进一步探讨了网络架构和可训练滤波器系数等因素与不变性群的关系，提供了更加抽象、强大不变性表示的实现方式。

    Jan, 2013

  • 不变网络的普适性研究

    本研究探讨了群变换对神经网络中的线性层进行限制是否可以使其逼近任意（连续）不变函数，结果表明高阶张量可以实现该功能，且存在一些群需要高阶张量才能实现，研究得出了只使用一阶张量的 G 不变网络普适性的必要条件。

    Jan, 2019

  • 数据参数域上的联合群不变函数引导通用神经网络

    通过研究对称性和几何学，我们提出了一种系统规则，通过数据域上的群作用来找到参数域上的双重群作用，并通过 Schur 引理给出了广义神经网络的群理论证明，从而将几何深度学习与抽象谐波分析相连。

    Oct, 2023

  • 在具有随机特征和核模型中学习不变性

    该研究介绍了两种机器学习建模方法 —— 不变性随机特征和不变性核方法，其中不变性核方法包括全局平均池化的卷积神经网络的神经切比雪夫核。研究表明，建立不变性机制使得机器学习模型样本容量和隐藏层单元数量成指数降低，从而在保持测试误差不变的情况下提高统计效率。此外，研究表明，数据增广与无结构核估计等价于一个不变性核估计，具有相同的统计效率。

    Feb, 2021

  • 基于核的群不变特征学习

    本文研究基于最近引入的不变理论 I 理论的随机特征映射。我们通过组变换的累积分布得到了一组不变的信号标记。本文将不变特征学习与内核方法相结合，并表明该特征映射定义了一个预期的 Haar 积分内核，对指定的组操作具有不变性。此外，本文还分析了此非线性随机特征映射如何在 N 个点上均匀近似组不变内核，并证明了它在等价的不变再生核希尔伯特空间中定义了一个密集的函数空间。最后，我们量化了在经典监督学习环境中使用这种不变信号表示进行信号分类的经验风险最小化的收敛误差率以及样本复杂度的降低。

    Jun, 2015

  • 神经网络中的傅里叶电路：在数学推理和模块算术中释放大型语言模型的潜力

    在机器学习领域中，研究神经网络和 Transformer 所采用的内部表示是一项重要挑战。本研究通过探索网络采用特定计算策略背后的原因，深入分析了样式化的单隐藏层神经网络和单层 Transformer 在解决模块化加法任务时学到的特征，并通过与实证观察相结合，为理解神经网络的计算机制作出了贡献。

    Feb, 2024