NIPSJun, 2015

基于核的群不变特征学习

PDF
TL;DR本文研究基于最近引入的不变理论 I 理论的随机特征映射。我们通过组变换的累积分布得到了一组不变的信号标记。本文将不变特征学习与内核方法相结合，并表明该特征映射定义了一个预期的 Haar 积分内核，对指定的组操作具有不变性。此外，本文还分析了此非线性随机特征映射如何在 N 个点上均匀近似组不变内核，并证明了它在等价的不变再生核希尔伯特空间中定义了一个密集的函数空间。最后，我们量化了在经典监督学习环境中使用这种不变信号表示进行信号分类的经验风险最小化的收敛误差率以及样本复杂度的降低。
发现论文，激发创造
  • 在具有随机特征和核模型中学习不变性

    该研究介绍了两种机器学习建模方法 —— 不变性随机特征和不变性核方法，其中不变性核方法包括全局平均池化的卷积神经网络的神经切比雪夫核。研究表明，建立不变性机制使得机器学习模型样本容量和隐藏层单元数量成指数降低，从而在保持测试误差不变的情况下提高统计效率。此外，研究表明，数据增广与无结构核估计等价于一个不变性核估计，具有相同的统计效率。

    Feb, 2021

  • 内核方法不变性具有可证明的严格泛化优势

    通过 Derive a strictly non-zero 单一泛化受益 & effective dimension 分析 无限制域问题，研究 Feature averaging 引起的压缩群下不变性以及 kernel Hilbert space 和 kernel 的正交分解。

    Jun, 2021

  • 从转换的未标记数据中提取的幺正群不变核和特征

    本文介绍了一种利用不变内积核解决数据转换问题的 SVM，以及一种基于单位群不变特征提取方法，实验证明了这些方法的有效性。

    Nov, 2015

  • 通过轨道嵌入得到局部群不变表示

    本文提出了一种基于核方法的技术来推导局部群不变表示，通过在群上定义适当的概率分布来实现局部性，并使用核方法的强大框架来学习这些分布上的决策函数，从而生成局部不变随机特征映射。经实验证明，在三个真实数据集上，该方法优于基于核的竞争方法，并且在 Rotated-MNIST 上表现优于深度 CNN，并且与最近提出的群等变 CNN 表现相当。

    Dec, 2016

  • 非随机特征

    本文提出一种基于 Fourier 分析的方法，用于训练翻译不变或旋转不变的核，并通过一种在线平衡找到动态算法来解释我们的算法，并在合成和现实世界数据集上进行评估，证明了扩展性和与相关随机特征方法相比的一致改进。

    Oct, 2017

  • 通过非参数散度估计在样本集上的核函数

    该论文提出了一种基于核函数的机器学习算法，可以通过对数据集的分组进行处理，采用独立同分布的样本集作为数据点，利用非参数估计器提取核函数特征从而实现多种分类、回归和异常检测等任务。

    Feb, 2012

  • 深度卷积表达的群不变性、形变稳定性和复杂性

    本文研究了深度卷积体系结构的多尺度不变表示问题，提出了基于卷积核网络的多层核方法，分析了核映射引起的几何学效应，表明可以将数据表示与学习分离，提出了模型复杂度的规范化测量，即控制所学模型的稳定性和泛化能力的重复核希尔伯特空间规范，证明了已有卷积神经网络能够映射到该空间中。

    Jun, 2017

  • 学习的谐波：不变网络中出现普适的傅里叶特征

    我们在这项工作中正式证明，在特定条件下，如果神经网络对于一个有限群是不变的，那么它的权重将恢复该群的傅里叶变换。这为傅里叶特征的出现提供了数学解释，傅里叶特征是生物和人工学习系统中普遍存在的现象。即使对于非交换群，这些结果仍然成立，此时傅里叶变换编码了所有不可约幺正群表示。我们的研究结果对于对称性探索问题具有重要意义。具体来说，我们证明了从至少在某些限制范围内是近似不变的网络的权重中，可以恢复未知群的代数结构。总体而言，这项工作为不变神经网络表示的代数学习理论奠定了基础。

    Dec, 2023

  • 随机傅里叶特征的误差

    本文介绍了核方法在机器学习问题中的应用，提到了采用随机傅里叶特征解决大规模数据集问题的方法，并给出了更好的误差界限及嵌入方式的理解、近似误差、在某些机器学习方法中的使用，同时指出了该特征的两种变体中，更常用的一种在高斯核中具有严格更高的方差且具有更糟糕的界限的令人惊讶的事实。

    Jun, 2015

  • 从转换后的无标签数据中提取最大边际不变特征

    本文研究了对称群不变的核技术，并提出了一套基于最大边界不变特征的解决方案来解决半监督学习和单样本学习的特殊形式的问题，这被称为未标记变换问题。 作为一个插图，我们设计了一个人脸识别框架，并在一个大规模半合成数据集和一个新的具有挑战性的 LFW 协议上论证了我们的方法的有效性，表现优于强基线。

    Oct, 2017