从转换的未标记数据中提取的幺正群不变核和特征
本文研究了对称群不变的核技术,并提出了一套基于最大边界不变特征的解决方案来解决半监督学习和单样本学习的特殊形式的问题,这被称为未标记变换问题。 作为一个插图,我们设计了一个人脸识别框架,并在一个大规模半合成数据集和一个新的具有挑战性的 LFW 协议上论证了我们的方法的有效性,表现优于强基线。
Oct, 2017
本文提出了一种基于核方法的技术来推导局部群不变表示,通过在群上定义适当的概率分布来实现局部性,并使用核方法的强大框架来学习这些分布上的决策函数,从而生成局部不变随机特征映射。经实验证明,在三个真实数据集上,该方法优于基于核的竞争方法,并且在 Rotated-MNIST 上表现优于深度 CNN,并且与最近提出的群等变 CNN 表现相当。
Dec, 2016
该研究介绍了两种机器学习建模方法 —— 不变性随机特征和不变性核方法,其中不变性核方法包括全局平均池化的卷积神经网络的神经切比雪夫核。研究表明,建立不变性机制使得机器学习模型样本容量和隐藏层单元数量成指数降低,从而在保持测试误差不变的情况下提高统计效率。此外,研究表明,数据增广与无结构核估计等价于一个不变性核估计,具有相同的统计效率。
Feb, 2021
本文研究基于最近引入的不变理论 I 理论的随机特征映射。我们通过组变换的累积分布得到了一组不变的信号标记。本文将不变特征学习与内核方法相结合,并表明该特征映射定义了一个预期的 Haar 积分内核,对指定的组操作具有不变性。此外,本文还分析了此非线性随机特征映射如何在 N 个点上均匀近似组不变内核,并证明了它在等价的不变再生核希尔伯特空间中定义了一个密集的函数空间。最后,我们量化了在经典监督学习环境中使用这种不变信号表示进行信号分类的经验风险最小化的收敛误差率以及样本复杂度的降低。
Jun, 2015
本文提出了一个新颖的具有转换不变性的特征学习框架,将线性转换纳入特征学习算法中,可应用于无监督学习方法,如自动编码器或稀疏编码,证明在 MNIST 变化,CIFAR-10 和 STL-10 等图像分类基准数据集上具有优越的分类性能并在 TIMIT 数据集上实现了最先进的电话分类任务的结果。
Jun, 2012
本文提出一种基于 Fourier 分析的方法,用于训练翻译不变或旋转不变的核,并通过一种在线平衡找到动态算法来解释我们的算法,并在合成和现实世界数据集上进行评估,证明了扩展性和与相关随机特征方法相比的一致改进。
Oct, 2017
本研究基于深度学习,提出了新的图像聚类方法,通过学习图像变换并在图像空间直接进行聚类,并可以轻松处理聚类中的不变性,实现了对聚类中心和聚类分配的解释性。研究表明,该方法在标准图像聚类基准测试中具有极高的竞争性和前景性。
Jun, 2020
通过 Derive a strictly non-zero 单一泛化受益 & effective dimension 分析 无限制域问题,研究 Feature averaging 引起的压缩群下不变性以及 kernel Hilbert space 和 kernel 的正交分解。
Jun, 2021
本文研究对象识别中不变表示的泛化性,经过广泛实验,我们证明了不变模型学习到的非结构化潜在表示对分配偏移具有鲁棒性,因此使不变性成为有限资源环境中训练的理想属性。
Apr, 2023
我们在这项工作中正式证明,在特定条件下,如果神经网络对于一个有限群是不变的,那么它的权重将恢复该群的傅里叶变换。这为傅里叶特征的出现提供了数学解释,傅里叶特征是生物和人工学习系统中普遍存在的现象。即使对于非交换群,这些结果仍然成立,此时傅里叶变换编码了所有不可约幺正群表示。我们的研究结果对于对称性探索问题具有重要意义。具体来说,我们证明了从至少在某些限制范围内是近似不变的网络的权重中,可以恢复未知群的代数结构。总体而言,这项工作为不变神经网络表示的代数学习理论奠定了基础。
Dec, 2023