Jun, 2018

谱推断网络：统一深层学习和谱学习

PDF
TL;DR本文提出了一种称为 Spectral Inference Networks 的框架，通过随机优化来学习线性算子的特征函数，可以成为从视频或基于图的数据中进行无监督表示学习的强有力工具。我们将训练 Spectral Inference Networks 视为一个双层优化问题，并展示了它在量子力学和合成数据集上的应用，在完全无监督的情况下从视频中准确恢复线性算子的特征函数并发现可解释的表示。
spectral inference networkseigenfunctionslinear operatorsunsupervised representation learningbilevel optimization
发现论文，激发创造
  • 学习神经本征函数进行无监督语义分割

    本文提出了一种使用基于神经网络的特征函数实现光谱聚类的方法，将神经网络特征作为输入，通过轻量级的神经特征函数实现密集预测，实验结果表明该方法在 Pascal Context、Cityscapes 和 ADE20K 基准测试上具有显著的性能优势。

    Apr, 2023

  • SpectralNet：使用深度神经网络进行谱聚类

    本篇论文提出了一种名为 SpectralNet 的深度学习方法，通过在大量的未标注数据上训练，将输入的数据转换为与其相连的图拉普拉斯矩阵的特征空间的向量，并成功地应用于谱聚类，实现了对谱聚类中可扩展性以及广义化转化的双重突破。

    Jan, 2018

  • 神经积分方程的频谱方法

    神经积分方程是基于积分方程理论的深度学习模型，该模型由积分算子和相应的方程（第二类）组成，通过优化过程学习。本文介绍了一种基于谱方法的神经积分方程框架，可以在谱域中学习运算符，从而降低计算成本，并具有高插值精度。我们研究了该方法的性质，并展示了关于模型逼近能力和数值方法收敛性的各种理论保证。我们提供了数值实验，以证明所得模型的实际有效性。

    Dec, 2023

  • 光谱神经网络：近似理论与优化景观

    机器学习中的光谱几何信息提取是一种基于传统特征值解算器的大量方法之一，而为了应用于在线大数据场景，研究人员提出了 Spectral Neural Network (SNN) 作为一种替代方法，本文探索了 SNN 的关键理论方面，包括神经元数量和光谱几何信息学习量之间的权衡以及 SNN 的优化过程。

    Oct, 2023

  • 深度谱方法：无监督语义分割和定位惊人强大的基准线

    通过基于传统光谱分割方法，将图像分解为由自我监督网络的特征亲和矩阵的拉普拉斯特征向量，以对场景中的对象进行定位和义分割的无监督方法，在 Pascal VOC，MS-COCO 等复杂数据集上取得了显著的定位和分割优势。

    May, 2022

  • 谱不变图神经网络的表达能力研究

    使用光谱特征的图神经网络（GNNs）已显示出有希望的结果，但由于特征向量的固有模棱两可性，这提出了一项基本挑战。已经提出了几种架构来解决这种模棱两可性，被称为光谱不变架构。其中几个著名的例子包括使用光谱距离、光谱投影矩阵或其他不变光谱特征的 GNNs 和图变换器。然而，这些光谱不变架构的潜在表达能力仍然不太清楚。本研究的目标是在使用光谱特征时获得深入的理论理解可获得的表达能力。我们首先介绍了一种用于设计光谱不变 GNNs 的统一传递信息框架，称为特征空间投影 GNN（EPNN）。全面的分析表明，EPNN 本质上统一了所有先前的光谱不变架构，因为它们要么严格不可表达，要么与 EPNN 等价。还建立了不同架构之间的细粒度表达层次结构。另一方面，我们证明了 EPNN 本身被一种最近提出的子图 GNNs 类所约束，这意味着所有这些光谱不变架构严格不可表达 3-WL。最后，我们讨论了结合更具表达能力的 GNNs 时是否可以通过使用光谱特征来获得额外的表达能力。

    Jun, 2024

  • 深入探讨光谱嵌入

    该研究论文提出了两种新的方法，一种基于函数分析原则和核方法，另一种是基于训练优化原则变分损失的深度网络，以构建数据的谱嵌入，并提供了一个新的采样算法，以在单个步骤中利用学习的表示来生成新样本。

    Jun, 2023

  • 从频谱模板推断网络拓扑

    本文提出了一种利用凸优化和图信号静态特性来从难以观测的图信号中恢复网络结构的图移位算法，数值实验验证了该方法在社交、大脑和氨基酸网络中的有效性。

    Aug, 2016

  • 谱图神经网络的强大程度

    本文研究了基于图信号滤波器的谱图神经网络的表达能力，证明了无需非线性函数就可产生任意图信号，并建立了表达能力与图同构测试之间的联系。提出了一种名为 JacobiConv 的新型谱图神经网络，该网络能在不使用非线性函数的情况下超越所有对比算法。

    May, 2022

  • 图上的谱网络和局部连接网络

    本文探讨了如何将卷积神经网络推广到更广泛的定义域上。作者提出了两种构造方法，分别基于分层聚类和图拉普拉斯谱。结果表明，在低维图形上，可以实现独立于输入尺寸的卷积层学习，从而实现高效的深度网络结构。

    Dec, 2013