Jun, 2021

内核方法不变性具有可证明的严格泛化优势

PDF
TL;DR通过 Derive a strictly non-zero 单一泛化受益 & effective dimension 分析 无限制域问题，研究 Feature averaging 引起的压缩群下不变性以及 kernel Hilbert space 和 kernel 的正交分解。
invariancegeneralisationkernel ridge regressionfeature averagingreproducing kernel hilbert space
发现论文，激发创造
  • 等变模型的可证明的严格泛化优势

    本研究通过研究线性模型，证明了当目标分布与紧致群相关时，使模型不变 / 等变能够改善泛化性能，并揭示了泛化，训练样本数量和群作用属性之间的有趣关系。

    Feb, 2021

  • 在具有随机特征和核模型中学习不变性

    该研究介绍了两种机器学习建模方法 —— 不变性随机特征和不变性核方法，其中不变性核方法包括全局平均池化的卷积神经网络的神经切比雪夫核。研究表明，建立不变性机制使得机器学习模型样本容量和隐藏层单元数量成指数降低，从而在保持测试误差不变的情况下提高统计效率。此外，研究表明，数据增广与无结构核估计等价于一个不变性核估计，具有相同的统计效率。

    Feb, 2021

  • 基于核的群不变特征学习

    本文研究基于最近引入的不变理论 I 理论的随机特征映射。我们通过组变换的累积分布得到了一组不变的信号标记。本文将不变特征学习与内核方法相结合，并表明该特征映射定义了一个预期的 Haar 积分内核，对指定的组操作具有不变性。此外，本文还分析了此非线性随机特征映射如何在 N 个点上均匀近似组不变内核，并证明了它在等价的不变再生核希尔伯特空间中定义了一个密集的函数空间。最后，我们量化了在经典监督学习环境中使用这种不变信号表示进行信号分类的经验风险最小化的收敛误差率以及样本复杂度的降低。

    Jun, 2015

  • 普通内核的旋转不变性如何阻碍高维泛化

    该论文研究了核岭回归在高维情况下存在偏差的问题，分析了常用核函数（如 RBF 核、内积核和全连接 NTK 核）的旋转不变性属性在高维情况下对低次多项式存在偏差，从而阐明了核岭回归普遍性一般性误差的下限，这表明核函数的结构超出了其特征值衰减和需要更精细的分析。

    Apr, 2021

  • 神经网络中不变性的好处

    本文分析比较了深度学习中两种广泛使用的处理不变性的方法：数据增强和特征平均，并针对其优缺点提出了相关理论结果和实验证明。其中，数据增强训练可以更好地估计风险和其梯度，并提供了 PAC-Bayes 泛化界；而特征平均可以在使用凸损失时降低泛化误差并收紧 PAC-Bayes 界。

    May, 2020

  • 从转换的未标记数据中提取的幺正群不变核和特征

    本文介绍了一种利用不变内积核解决数据转换问题的 SVM，以及一种基于单位群不变特征提取方法，实验证明了这些方法的有效性。

    Nov, 2015

  • 半内积空间广义不变性的凸表示学习

    该研究提出了一种基于半范数的广义不变性的学习算法，采用新的欧几里得嵌入技术，可以高效、准确地学习不变表示，并得到了实验证实。

    Apr, 2020

  • 通过商特征空间提高群不变性 / 等变性深层网络的推广能力界限

    本研究提出了一种新的不变和等变深度神经网络的泛化误差上界，并开发了一个称为 “商特征空间” 的方法来描述其对于一些属性的作用，证明了 “商特征空间” 的容积可以描述泛化误差并进一步表明不变性和等变性显著改善了误差上界的主导项，同时讨论了不变性 DNN 的表达能力并证明了其能够实现最佳逼近率，并通过实验结果验证了理论结果。

    Oct, 2019

  • 神经网络贝叶斯推断中的数据变异理论

    基于无限宽度神经网络的高斯过程，并结合内核和推理方法，构建了一个场论的形式体系，研究了无限宽度网络的泛化性质，并从输入数据的统计性质得到了泛化性质的提取。

    Jul, 2023

  • 深度卷积表达的群不变性、形变稳定性和复杂性

    本文研究了深度卷积体系结构的多尺度不变表示问题，提出了基于卷积核网络的多层核方法，分析了核映射引起的几何学效应，表明可以将数据表示与学习分离，提出了模型复杂度的规范化测量，即控制所学模型的稳定性和泛化能力的重复核希尔伯特空间规范，证明了已有卷积神经网络能够映射到该空间中。

    Jun, 2017