光谱神经网络：近似理论与优化景观

Oct, 2023

光谱神经网络：近似理论与优化景观

Spectral Neural Networks: Approximation Theory and Optimization Landscape

Chenghui Li, Rishi Sonthalia, Nicolas Garcia Trillos

TL;DR机器学习中的光谱几何信息提取是一种基于传统特征值解算器的大量方法之一，而为了应用于在线大数据场景，研究人员提出了 Spectral Neural Network (SNN) 作为一种替代方法，本文探索了 SNN 的关键理论方面，包括神经元数量和光谱几何信息学习量之间的权衡以及 SNN 的优化过程。

Abstract

There is a large variety of machine learning methodologies that are based on the extraction of spectral geometric information from data. However, the implementations of many of these methods often depend on tradi

machine learning spectral geometric information neural networks eigensolvers spectral neural network (snn)

发现论文，激发创造

谱图神经网络调研

本文总结了谱图神经网络的最新发展，包括模型、理论和应用等方面的内容，其中介绍了谱性 GNN 能够捕捉全局信息，并具有更好的可表达性和可解释性。通过对现有谱性 GNN 的分析，本文梳理了主要理论结果和应用，最后进行了定量实验来评估几种常见的谱性 GNN 模型，为未来的研究提出了一些方向。

Feb, 2023

通过谱神经网络和非线性矩阵感知实现隐式正则化

通过对带有非线性激活函数的神经网络在矩阵感知问题中的隐性正则化现象的研究，我们引入了一种名为 “光谱神经网络（SNN）” 的网络架构，该架构在矩阵学习问题上具有更好的可解释性，通过数学保证和实证研究验证了其有效性。我们相信 SNN 架构在广泛的矩阵学习场景中具有潜在的适用性。

Feb, 2024

SpectralNet：使用深度神经网络进行谱聚类

本篇论文提出了一种名为 SpectralNet 的深度学习方法，通过在大量的未标注数据上训练，将输入的数据转换为与其相连的图拉普拉斯矩阵的特征空间的向量，并成功地应用于谱聚类，实现了对谱聚类中可扩展性以及广义化转化的双重突破。

Jan, 2018

深度学习谱偏差研究

论文通过与神经切向核函数的关联性进行解释，给出了关于神经网络中谱偏置的全面而严格的解释，并证明了神经网络的训练过程可以沿神经切向核的不同方向分解，每个方向都有自己的收敛率，而该收敛率由相应的特征值确定。

Dec, 2019

谱图神经网络的强大程度

本文研究了基于图信号滤波器的谱图神经网络的表达能力，证明了无需非线性函数就可产生任意图信号，并建立了表达能力与图同构测试之间的联系。提出了一种名为 JacobiConv 的新型谱图神经网络，该网络能在不使用非线性函数的情况下超越所有对比算法。

May, 2022

谱推断网络：统一深层学习和谱学习

本文提出了一种称为 Spectral Inference Networks 的框架，通过随机优化来学习线性算子的特征函数，可以成为从视频或基于图的数据中进行无监督表示学习的强有力工具。我们将训练 Spectral Inference Networks 视为一个双层优化问题，并展示了它在量子力学和合成数据集上的应用，在完全无监督的情况下从视频中准确恢复线性算子的特征函数并发现可解释的表示。

Jun, 2018

应用非线性谱方法全局最优训练广义多项式神经网络

本研究提出了一种非线性谱方法用于全局优化某类前馈神经网络，在弱数据假设下可以实现全局最优解，而不需要手动参数调整，这是首个实际可行的具有全局最优性保证的方法。

Oct, 2016

神经积分方程的频谱方法

神经积分方程是基于积分方程理论的深度学习模型，该模型由积分算子和相应的方程（第二类）组成，通过优化过程学习。本文介绍了一种基于谱方法的神经积分方程框架，可以在谱域中学习运算符，从而降低计算成本，并具有高插值精度。我们研究了该方法的性质，并展示了关于模型逼近能力和数值方法收敛性的各种理论保证。我们提供了数值实验，以证明所得模型的实际有效性。

Dec, 2023

基准评估光谱图神经网络：对效果和效率的全面研究

最近在图神经网络领域中，频谱图神经网络因其在频域捕捉图信号的特点而受到广泛关注，展示出在特定任务中的有希望的能力。然而，对于评估其频谱特征的系统研究还很少。此观点论文通过对超过 30 个包含 27 个相应滤波器的频谱图神经网络进行广泛的基准测试，分析和分类这些模型，并在统一框架下实现这些频谱模型，提供了对有效性和效率的多方位实验评估，并提供了在评估和选择性能良好的频谱图神经网络时的实用指南。我们的实现能够在更大的图上应用，性能可比且开销较小，可以从以下链接获得:

Jun, 2024

利用海森矩阵特征值密度研究神经网络优化

研究优化过程中深度神经网络中 Hessian 谱的演化对动力学的影响，发现对于非批归一化网络，谱中的大量孤立特征值以及聚集在相应特征空间中的梯度的快速出现将影响优化速度，而批归一化网络中这两种效应几乎不存在。

Jan, 2019