极端类别的标记压缩方案
本文提出采样压缩序列作为一种学习算法的抽象形式,并回答了问题:每个概念类别 C 具有 VC 维度 d 的序列都具有指数大小的采样压缩序列,这得益于对 VC 维下二进制矩阵的逼近极小现象。
Mar, 2015
本文通过对有限最大概念类的压缩的几何系统性研究,证明了 Piecewise-Linear 超平面排列能够通过等高线法压缩任意有限最大类,从而证明了 Kuzmin 和 Warmuth 的猜想,并说明了一些 d - 最大化类无法嵌入到 VC 维度为 d+k 的任何最大类中。
Nov, 2009
每个学习二进制假设类都具有有限的 VC 维度且可采用一个与 VC 维度无关的有限函数大小的样本压缩方案,然而,每个学习多类假设类都具有有限的 DS 维度且不具有一个与 DS 维度无关的有限函数大小的样本压缩方案。
Aug, 2023
开发了一种在没有约束条件的情况下近似计算 VC 维度的方法,该方法基于经验风险最小化学习范式,用于表征概念类的粉碎性质。
Aug, 2023
本文证明了具有 VC 维度 d 的复杂定向基构成的拓扑形态具有大小为 d 的适当编码方法,并且将其拓展到了均匀定向基构成的复杂形态中,这是计算学习理论中最古老的问题之一。利用定向基理论的组合单元结构和将 COM 的拓扑图形看作部分方体,建立了一个与度量图理论之间富有成果的联系。
Oct, 2021
通过解决 Talagrand 的熵问题,我们证明了:每个有界函数类的 L_2 覆盖数都与其 shattering 维度成指数关系。这扩展了 Dudley 关于 {0,1} 函数类的定理,对于这些函数,shattering 维度是他们的 Vapnik-Chervonenkis 维度。在凸几何中,这意味着凸体 K 的熵可以由其坐标投影中包含的固定边长的立方体的最大维度控制。该理论有很多后续影响,包括 Elton 的最优定理以及实值情况下统计中心极限定理的估计。
Mar, 2002
本文研究了样本压缩方案与统计学习之间的关系,探究了学习能力与可压缩性之间的等价性,并在多类别分类问题中研究了统计学习理论。作者证明了在零 / 一损失分类的情况下,可学习性等价于对数样本大小的压缩,并且一致收敛意味着恒定大小的压缩。作者还探究了在 Vapnik 的一般学习设置下压缩能力与学习能力的等价性,并给出了一些在多类别分类问题中的应用。
Oct, 2016
本文介绍了现代神经网络的普遍过拟合问题以及如何通过模型压缩来限制模型复杂度,提高模型泛化性能,同时基于对模型压缩技术的分析,提供了在压缩神经网络时的泛化误差界限及给出了实际应用于 ImageNet 分类问题中的第一个非微不足道的可行泛化误差保证。
Apr, 2018