NIPSMar, 2017

基于 S-Concave 分布的样本和计算高效的学习算法

PDF
TL;DR本文提出了一种新的 $s$-concave 分布类别，基于凸几何工具研究了该分布类别并将其应用于学习算法中，在边缘化算子下提供了有关 $s$-concave 分布的性质和一些学习问题的收敛界限。
s-concave distributionslearning algorithmsconvex geometry toolsmargin-based active learningdisagreement-based active learning
发现论文，激发创造
  • 具有高效性、稳健性的对数凹分布恰当学习

    本文讨论了单变量对数凹分布的鲁棒适当学习问题，并提出了一种能够有效解决该问题的算法，该算法可以获得信息理论最优的样本量，并具有多样的应用。

    Jun, 2016

  • 非凸 SGD 学习带有对抗标签噪声的半空间

    研究学习同质半空间的非说服学派问题，证明对于一类结构化分布，包括对数凹分布，在误分类误差 O（opt）+eps 下，非凸 SGD 有效地收敛到解决方案。相比之下，证明优化任何凸代理本质上会导致 ω（opt）的误分类误差，即使在高斯边际分布下。

    Jun, 2020

  • 在结构化分布下学习带有 Massart 噪声的半空间

    在特定分布的 PAC 模型下，我们针对学习带有 Massart 噪声的半空间问题进行了研究。我们提出了第一种基于 SGD 的、针对广泛分布（包括对数凹分布）的问题求解的计算机高效算法，并解决了先前研究中的一个悬而未决的问题。

    Feb, 2020

  • 学习多元对数凹分布

    该研究论文解决了估计多元对数凹概率密度函数的问题，并提出了一个估计器来处理此问题。

    May, 2016

  • 在对数凹分布下线性分界器的主动学习和被动学习

    该研究提供了关于线性分隔符的标签高效、多项式时间、被动和主动学习的新结果，并证明了在近乎对数凹的分布下，主动学习提供了超过被动学习的指数级改进。在此基础上，为这种问题提供了一种计算上高效的 PAC 算法，其样本复杂度是最优的 (最多相差一个常数因子)。此外，提供了第一个关于多项式时间 PAC 算法的界限，该算法在通用的数据分布下对一个有趣的无限类假设函数是紧密的，并取得了重大进展。同时，本研究还针对数据可能不是线性可分的情况，提供了被动和主动学习的新限制。

    Nov, 2012

  • 测试者学习半空间的通用算法

    本研究提出了一种普适性的半空间测试学习算法，它可以在所有满足 Poincaré 不等式的分布上获得较小误差，具体实现是使用 sum-of-squares 算法检查分布的超对称性。

    May, 2023

  • 强对数凹分布下的多样性灵活建模

    文章介绍了强对数凹概率分布（SLC）作为强雷利（SR）分布的拓展，便于更直观地控制多样性。同时提出了应用 SLC 分布于学习和推理的两个基本工具：采样和模式查找，并给出了相应的理论保证。

    Jun, 2019

  • 具有恶意噪声的半空间属性高效学习：近似最优标签复杂度和噪声容错性

    研究如何在噪音下进行有效的学习，在保证计算效率的前提下设计了一种主动学习算法，并根据半空间的结构进行加权和风险最小化等方法的技术优化，解决了恶意噪声等问题并且具有良好的属性效率和样本复杂度。

    Jun, 2020

  • 关于 Rényi 散度的 s-Concave 密度近似与估计

    该研究通过 Renyi 散度的逼近和估计，研究了 s - 凹密度的逼近和估计问题，如果概率测度 Q 具有全维支撑和一阶矩，则可以通过 Koenker 和 Mizera（2010）提出的最小化散度泛函的过程，将概率测度 Q 逼近为 s - 凹密度，这个估计器与最大似然方法估计的对数凹密度的估计器密切相关，当 s 趋近于 0 时，Renyi 散度估计器收敛于对数凹密度的最大似然估计器，并且具有相似的表征。

    May, 2015

  • 受限高斯 Oracle 的结构化对数凸采样

    该研究论文讨论了如何使用结构化的 logconcave 样本算法来采样复合密度和 logconcave 有限和，使用近端点方法启发的降维框架来改善问题条件的相关性，并提出了一种获取大量梯度查询乘数的简单算法。

    Oct, 2020