Mar, 2020

近似即可：基于概率的维度与边界复杂度变体

PDF
TL;DR研究了近似维度和间隔复杂度的概念，这些概念相对于确切表示给定的假设类所需的嵌入的最小维度或范数来近似表示。发现这些概念不仅足以用于使用线性预测器或核进行学习，而且与确切的变体不同，它们也是必要的。因此，它们更适合讨论线性或核方法的限制。
approximate notionsdimensional complexitymargin complexitylinear predictorskernel methods
发现论文，激发创造
  • 通用浅层神经网络的维度无关界限

    本文以一种抽象的定理为基础，证明了解决函数逼近中避免维数噪声以及用于流形学习的样本外推的逼近度的两个问题。作者建立了一种浅层网络和深度网络的模型来证明这个定理，并给出了应用案例。

    Aug, 2019

  • 交互式估计的统一模型和维度

    本文提出了交互式学习的抽象框架 —— 交互估计，其中目标是通过学习者查询的点与其类似性来估计目标。我们介绍了一种称为不相似维度的组合度量，从很大程度上捕获了我们模型中的可学习性。我们提出了一种简单、通用和广泛适用的算法，对其进行了后悔和 PAC 泛化边界的求解，这些边界在新维度中是多项式的。我们展示了我们的框架涵盖并统一了两个经典的学习模型：统计查询学习和结构化强化学习。我们还说明了不相似维度与两种框架的众所周知的参数的关系，在某些情况下得到了显着改进的分析。

    Jun, 2023

  • 深度非参数回归的有效闵可夫斯基维度：函数逼近和统计理论

    本文在深度非参数回归的理论研究中提出了一种松弛假设，证明了数据的 Effective Minkowski Dimension 可以影响训练样本量的复杂度，并在高斯随机场设计数据集上验证了理论的有效性。

    Jun, 2023

  • 高维情形下无需计算难度的鲁棒估计

    该研究旨在解决高维分布学习中的拜占庭敌人问题，提出了面向单高斯、超立方体上的乘积分布及其混合分布和球形高斯的分布学习的算法，并为高维数据的拜占庭敌人问题提供了一种通用的检测与纠正方案。

    Apr, 2016

  • 简而优：通过分布边界增强序嵌入的泛化能力

    提出了一种基于分布式边际学习（DMOE）的序数嵌入技术，用于解决缺乏训练样本时的序数嵌入问题，该方法避免了直接最大化边际均值和最小化边际方差，从而提高了整体的泛化性能。

    Dec, 2018

  • 半度量空间分类的近最优算法

    本文研究了半度量空间中的分类问题，定义并探索了密度维数在统计学和算法可行性中的中心作用，并提出了接近最优的样本压缩算法，得到了具有独立意义的广义样本压缩方案的泛化保证。

    Feb, 2015

  • 通过随机线性投影逼近低维流形上的点

    本文介绍了一种基于流形的信号恢复算法，该算法使用少量线性测量就可以非常精确地重构给定数据点，对外部维度不敏感，同时提供一致的逼近保证。

    Apr, 2012

  • 估计流形维度的最小极小率

    本文研究了机器学习和计算几何中的一些问题，主要关注于如何准确估算支持概率分布的流型的内在维度，同时提出了相应的上下界极值估算公式。

    May, 2016

  • 具有统计保证的快速随机核方法

    本文章介绍了一种改进基于核方法的机器学习方法运行时间的方法，并提出了一个计算算法，该算法可以用来在不需要生成全核矩阵的情况下，对特征向量矩阵进行采样，并在统计表现和运行时间方面提供了新的保证。

    Nov, 2014

  • 基于 VC 维的关系学习泛化界

    本文研究了关系模型的充分统计量的误差边界，主要结果是证明了适用于关系数据的 Vapnik-Chervonenkis 维度的变体边界。

    Apr, 2018