学习具有 Tsybakov 噪声的半空间的多项式时间算法
通过设计基于非凸优化的算法,本文研究了具有 Tsybakov 噪声的计算和标签效率 PAC 主动学习上的 d - 维半空间问题,其标签复杂度较先前已知的高效被动或主动算法与该设置下的信息理论下界之间的差距缩小了。
Oct, 2023
本文提出一种能够在存在恶意噪声的条件下有效学习欧氏空间中均匀半空间的 PAC 算法,该算法框架下的样本复杂度接近最优,主要用到了矩阵 Chernoff 型不等式和对错误噪声模型的推广。
Feb, 2021
本文介绍了一种 Perceptron-like 在线主动学习算法,能够以近乎最优的标签复杂度和样本复杂度下,学习噪声容限在总概率最多为 ν,样本标签误差率 ε 和输入维度 d 给定的 R^d 中同质半空间。该算法的先前版本针对噪声容限存在的情况,不能同时获得标签和样本复杂度多项式级别的优良性能。经过一定的假设前提下,支持 5 罕见的瑕疵。
Dec, 2020
我们研究了在分布无关的对抗性健壮 PAC 模型中半空间的计算复杂度,重点研究了 L_p 扰动。我们提出了一种计算有效的学习算法和一种几乎匹配的计算难度结果。我们发现的一个有趣的含义是,L_∞扰动的情况被证明比 2≤p<∞的情况更加计算上困难。
Jul, 2020
我们研究了在部分数据遭到敌对噪声污染的情况下,几何概念类(特别是低次多项式阈值函数(PTF)和半空间的交集)的高效可学习性,并给出了这些概念类的首个多项式时间 PAC 学习算法,具有不依赖于维度的误差保证。
Jul, 2017
研究学习同质半空间的非说服学派问题,证明对于一类结构化分布,包括对数凹分布,在误分类误差 O(opt)+eps 下,非凸 SGD 有效地收敛到解决方案。相比之下,证明优化任何凸代理本质上会导致 ω(opt)的误分类误差,即使在高斯边际分布下。
Jun, 2020
通过对未知对称一维对数凹分布的 d 维空间的 d 倍积的未知仿射变换的环境分布内带有一定间距的高维半空间的多项式时间学习算法,从一个组分分布的数据中删除至少一个 ε 分数的数据引入了半空间。值得注意的是,我们的算法不需要标签,并在这种分布假设下确立了隐藏半空间的独特性(以及高效性)。该算法的样本和时间复杂度在维度和 1/ε 上是多项式的。该算法只使用经验分布的适当重新加权的前两个矩,我们称之为对比矩;其分析使用了关于广义狄利克雷多项式的经典事实,并且关键地依赖于对对数凹分布截断的矩比的新的单调性属性。此前的研究处理了当底层分布是通过非高斯成分分析来进行的非高斯分布的特殊情况。我们通过提供基于总变分距离而不是现有的可以是超多项式的矩边界保证,改进了这一点。我们的工作也是在这个设置中首次超越高斯分布。
Nov, 2023
在特定分布的 PAC 模型下,我们针对学习带有 Massart 噪声的半空间问题进行了研究。我们提出了第一种基于 SGD 的、针对广泛分布(包括对数凹分布)的问题求解的计算机高效算法,并解决了先前研究中的一个悬而未决的问题。
Feb, 2020
本文提供了一个计算有效的算法,用于解决高维空间中的 PAC 主动学习问题,其中数据遵循某些分布假设,该算法在少量的标记查询下使用稀疏的半空间学习,能够达到 O(t polylog(d,1/ϵ))的标记复杂度。
May, 2018
本文提出了一个以多项式回归和定位技术相结合的算法, 用于在 d - 球上均匀分布的情况下,实现对零时最佳半空间分类器的确定性多项式近似方案(PTAS),误差保证为 opt 的 (1+μ)+ε 倍, 并提供了比以前使用定位技术的算法更加优越的针对全局的误差近似解决方案。
Oct, 2014