ICMLDec, 2020

关于局部感知机具有优势的半空间对抗噪声最优学习

PDF
TL;DR本文介绍了一种 Perceptron-like 在线主动学习算法，能够以近乎最优的标签复杂度和样本复杂度下，学习噪声容限在总概率最多为 ν，样本标签误差率 ε 和输入维度 d 给定的 R^d 中同质半空间。该算法的先前版本针对噪声容限存在的情况，不能同时获得标签和样本复杂度多项式级别的优良性能。经过一定的假设前提下，支持 5 罕见的瑕疵。
online active learninghalfspacesadversarial noiselabel complexitysample complexity
发现论文，激发创造
  • 重温感知机：半空间高效与标签最优学习

    本文提出了一种半空间主动学习算法，能够在存在噪声和尽可能少的标签情况下，有效地学习均匀分布在单位球上的均匀半空间，并证明其在两种噪声情况下均达到了近似最优标签复杂度。

    Feb, 2017

  • 高效稀疏半空间的主动学习

    本文提供了一个计算有效的算法，用于解决高维空间中的 PAC 主动学习问题，其中数据遵循某些分布假设，该算法在少量的标记查询下使用稀疏的半空间学习，能够达到 O（t polylog（d，1/ϵ））的标记复杂度。

    May, 2018

  • 具有恶意噪声的半空间属性高效学习：近似最优标签复杂度和噪声容错性

    研究如何在噪音下进行有效的学习，在保证计算效率的前提下设计了一种主动学习算法，并根据半空间的结构进行加权和风险最小化等方法的技术优化，解决了恶意噪声等问题并且具有良好的属性效率和样本复杂度。

    Jun, 2020

  • 非凸 SGD 学习带有对抗标签噪声的半空间

    研究学习同质半空间的非说服学派问题，证明对于一类结构化分布，包括对数凹分布，在误分类误差 O（opt）+eps 下，非凸 SGD 有效地收敛到解决方案。相比之下，证明优化任何凸代理本质上会导致 ω（opt）的误分类误差，即使在高斯边际分布下。

    Jun, 2020

  • 采用恶意噪声的半空间样本最优 PAC 学习

    本文提出一种能够在存在恶意噪声的条件下有效学习欧氏空间中均匀半空间的 PAC 算法，该算法框架下的样本复杂度接近最优，主要用到了矩阵 Chernoff 型不等式和对错误噪声模型的推广。

    Feb, 2021

  • 半空间对抗性鲁棒适当学习的复杂性（不知情噪音）

    我们研究了在分布无关的对抗性健壮 PAC 模型中半空间的计算复杂度，重点研究了 L_p 扰动。我们提出了一种计算有效的学习算法和一种几乎匹配的计算难度结果。我们发现的一个有趣的含义是，L_∞扰动的情况被证明比 2≤p<∞的情况更加计算上困难。

    Jul, 2020

  • 利用本地化能力高效学习受到噪声影响的线性分离器

    本研究提出了一种新的方法来设计计算效率高、能够容忍噪声的学习算法，并通过设计具有改善噪声容忍度的线性分离器学习算法来证明其有效性。在恶意噪声模型和对抗标签噪声模型方面展开讨论，并为这些模型提供了多项式时间算法，以在各自的噪声下学习线性分类器。在主动学习模型下，算法实现标签复杂度对于误差参数的对数对数依赖。

    Jul, 2013

  • 具有 Tsybakov 噪声的高效主动学习半空间问题的非凸优化方法

    通过设计基于非凸优化的算法，本文研究了具有 Tsybakov 噪声的计算和标签效率 PAC 主动学习上的 d - 维半空间问题，其标签复杂度较先前已知的高效被动或主动算法与该设置下的信息理论下界之间的差距缩小了。

    Oct, 2023

  • 学习具有 Tsybakov 噪声的半空间的多项式时间算法

    本文首次提出了针对在 Tsybakov 噪声情况下 PAC 学习均匀半空间的可行的多项式时间算法，并且证明了该算法对于如对称型对数凹分布之类的广泛应用的分布成功率显著

    Oct, 2020

  • 高效学习带有噪声的对抗稳健超平面

    研究在独立于分布的情况下学习对抗性鲁棒的半空间问题，在可实现的情况下，给出了对抗性扰动集的必要和充分条件，即半空间可以高效地实现鲁棒性学习，并在存在随机标签噪声时提出了一个简单的、计算效率高的算法。

    May, 2020