AAAIJul, 2017

k-NN 回归的非渐进一致性统一速率

PDF
TL;DR本文通过对 mild assumptions 的研究，提出了 k-NN 回归的高概率有限样本均匀一致收敛率，该率在对数因子下是最优的。本文还证明了 k-NN 回归可以自动适应未知的低内在维度。我们将 k-NN 回归应用到了从噪声观测值中估计函数的水平集和全局最大值方面，得出了新的结果。
发现论文，激发创造
  • kNN 分类器对未知非对称标签噪声具有快速识别率

    研究在类别依赖的非对称标签噪声存在下的分类问题，提出了一种基于 Robust kNN 分类器的方法实现了纯净样本设定下的极小化最优率，同时提出了一种仅需少量假设的函数最大值估计方法。

    Jun, 2019

  • 最近邻与核生存分析：非渐近误差界和强一致性速率

    通过建立第一个 Kaplan-Meier 基础的最近邻和核生存概率估计的不渐近误差界，我们证明了这些非参数估计的强一致性速率，并且匹配了现有条件 CDF 估计的下限；我们的证明策略还为 Nelson-Aalen 累积风险估计的最近邻和核变体提供了不渐近保证。我们在四个数据集上进行了实验比较这些方法，并发现对于核生存估计器，一个好的核的选择是使用随机生存森林学习的核。

    May, 2019

  • k-NN 回归适应局部内在维度

    该研究论文表明，非参数回归器在数据的内在维度的影响下可适应高维数据，k-NN 回归也适应内在维度。这篇论文还证明了最小极限速率不依赖于度量空间或分布的特定选择，而是适用于任何度量空间和加倍度量。

    Oct, 2011

  • 鲁棒线性回归：多项式时间内的最优速率

    本文提出了一种在数据为超收缩分布、存在不可避免的敌对噪声情况下，基于平方和框架的线性模型学习算法，该算法的收敛速度与扰动的比例成幂率关系，能达到理论最优收敛速度且在先前研究中未被发现。

    Jun, 2020

  • 度量空间中 k-NN 规则的普适一致性和 Nagata 维度

    证明了 $k$ 最近邻学习规则在每个 sigma-finite 维度空间中都是普遍一致的，同时调查了度量的相关几何性质以及 Stone 方法中的限制，通过构建各种例子来推广这一结论。

    Feb, 2020

  • 最近邻样本压缩：效率、一致性、无限维度

    本文研究了一个基于样本压缩界限的多类学习算法的贝叶斯一致性，并证明了在度量空间有限两倍维度的情况下，该算法是强贝叶斯一致的，甚至在某些无限维情况下也是连贯的，这是一项有趣的发现，当前存在几个值得研究的问题。

    May, 2017

  • 最近邻分类的收敛速度

    本文提出了一种新的最近邻方法，它能够适应不同空间区域的不同距离尺度，并分析其在度量空间的行为，从而得出分布相关的有限样本收敛速率，并实现了广泛数据空间的最近邻的普遍一致性。

    Jun, 2014

  • 分类的自适应最近邻规则

    该论文提出了一种改进的 K 近邻分类器，它可以自适应地为每个查询选择 K，该选择取决于每个邻域的属性，因此可能在不同点之间显着变化，并且可以利用条件概率推导推导出一些收敛界限。

    May, 2019

  • 局部近邻分类及其在半监督学习中的应用

    研究使用局部 -$k$- 最近邻分类器的全局超额风险的渐近展开式，通过此理论发现半监督学习问题中的局部选择 $k$ 能够实现额外风险的收敛速率，同时通过模拟研究验证了该理论。

    Apr, 2017

  • 最近邻信息估计器具有自适应接近极小最大速率最优性

    本文对 Kozachenko-Leonenko 估计器在扭曲空间中的微分熵进行了分析，提出了首个关于其性能的均匀上界估计和新的极小化下界估计，并且证明了 KL 估计器在不考虑 H"older 球的平滑参数时，可以达到极小化速率，成为第一个可以明确满足此属性的估计器。

    Nov, 2017