Feb, 2021

在具有随机特征和核模型中学习不变性

PDF
TL;DR该研究介绍了两种机器学习建模方法 —— 不变性随机特征和不变性核方法，其中不变性核方法包括全局平均池化的卷积神经网络的神经切比雪夫核。研究表明，建立不变性机制使得机器学习模型样本容量和隐藏层单元数量成指数降低，从而在保持测试误差不变的情况下提高统计效率。此外，研究表明，数据增广与无结构核估计等价于一个不变性核估计，具有相同的统计效率。
machine learninginvarianceneural networksconvolutional networkskernel methods
发现论文，激发创造
  • 基于核的群不变特征学习

    本文研究基于最近引入的不变理论 I 理论的随机特征映射。我们通过组变换的累积分布得到了一组不变的信号标记。本文将不变特征学习与内核方法相结合，并表明该特征映射定义了一个预期的 Haar 积分内核，对指定的组操作具有不变性。此外，本文还分析了此非线性随机特征映射如何在 N 个点上均匀近似组不变内核，并证明了它在等价的不变再生核希尔伯特空间中定义了一个密集的函数空间。最后，我们量化了在经典监督学习环境中使用这种不变信号表示进行信号分类的经验风险最小化的收敛误差率以及样本复杂度的降低。

    Jun, 2015

  • 神经网络中不变性的好处

    本文分析比较了深度学习中两种广泛使用的处理不变性的方法：数据增强和特征平均，并针对其优缺点提出了相关理论结果和实验证明。其中，数据增强训练可以更好地估计风险和其梯度，并提供了 PAC-Bayes 泛化界；而特征平均可以在使用凸损失时降低泛化误差并收紧 PAC-Bayes 界。

    May, 2020

  • 神经网络中的不变性学习

    该研究提出了一种简单的过程来通过参数化 augmentations 的分布并优化训练损失一起调整网络和 augmentation 参数，从而从大量的 augmentations 中仅使用训练数据恢复图像分类、回归、分割和分子性质预测的正确不变性集和范围。

    Oct, 2020

  • 内核方法不变性具有可证明的严格泛化优势

    通过 Derive a strictly non-zero 单一泛化受益 & effective dimension 分析 无限制域问题，研究 Feature averaging 引起的压缩群下不变性以及 kernel Hilbert space 和 kernel 的正交分解。

    Jun, 2021

  • 从转换的未标记数据中提取的幺正群不变核和特征

    本文介绍了一种利用不变内积核解决数据转换问题的 SVM，以及一种基于单位群不变特征提取方法，实验证明了这些方法的有效性。

    Nov, 2015

  • 概率对称和不变神经网络

    本研究从概率对称性的角度考虑群不变性，建立功能性和概率对称性之间的联系，并得到了不变或等变于紧致群作用下的概率分布的生成功能表示。此表示完全表征了神经网络的结构，可用于模拟此类分布并提供了一般性的计算程序。

    Jan, 2019

  • 学习变换以实现个体无关性的普适性

    基于数据的学习预测变换分布以及通过对样本对齐实现对不同类别的普遍不变性和适应不同姿态，从而提高计算机视觉中的准确性和鲁棒性。

    Sep, 2023

  • 深度卷积表达的群不变性、形变稳定性和复杂性

    本文研究了深度卷积体系结构的多尺度不变表示问题，提出了基于卷积核网络的多层核方法，分析了核映射引起的几何学效应，表明可以将数据表示与学习分离，提出了模型复杂度的规范化测量，即控制所学模型的稳定性和泛化能力的重复核希尔伯特空间规范，证明了已有卷积神经网络能够映射到该空间中。

    Jun, 2017

  • 图像分类器的鲁棒性和不变性属性

    本文研究了深度神经网络在噪声环境中的鲁棒性和不变性，提出了快速计算稀疏对抗扰动和数据增强方法，与数据之间的特征联系起来，以实现更可靠的机器学习系统。

    Aug, 2022

  • 具有可微扩增层的深不变网络

    本文探讨了从训练数据中学习不变性的新方法，该方法使用可学习的增强层直接构建在网络中，具有很高的可塑性、易于训练和快速的优点，可以应用于计算机视觉以外的广泛领域。实验证明，该方法不受模型表达能力的限制，与当前基于双层优化的现代自动数据增强技术相比表现出色。

    Feb, 2022