Jan, 2011

最优加权最近邻分类器

PDF
TL;DR本文通过渐近分析导出了带权最近邻分类器超额风险（遗憾）的渐近展开式，并找到了非负权重的渐近最优向量，表明该分类器的遗憾与未加权的 k - 最近邻分类器相比，仅与特征向量的维度有关。同时，在更大的维度上，权重最优。最后，我们还证明，当允许使用负权重时，强平滑假设是可能提高收敛速度的。本文的结果得到了在模拟数据和真实数据集上的实证对比支持。
weighted nearest neighbor classifierexcess riskasymptotic expansiondimensionregret
发现论文，激发创造
  • 局部近邻分类及其在半监督学习中的应用

    研究使用局部 -$k$- 最近邻分类器的全局超额风险的渐近展开式，通过此理论发现半监督学习问题中的局部选择 $k$ 能够实现额外风险的收敛速率，同时通过模拟研究验证了该理论。

    Apr, 2017

  • k*- 最近邻居：从全局到局部

    本文提出了一种简单的，能够使权重最优化的局部加权回归 / 分类方法，并能够为需要估计值的每个数据点高效地找到权重和最优化的邻居数量，从而在多个数据集上展示了比标准局部加权方法更优异的性能表现。

    Jan, 2017

  • 通过 $k$- 最近邻距离高效估算多元熵

    本文提出一种基于加权平均值的熵估计器，利用 $k$- 最近邻距离和加权项来实现局部渐进极小化极小化损失下的效率估计，可以在任意维度上获得高效估计，并促进了渐近最小宽度熵的置信区间的构建。

    Jun, 2016

  • 在线最近邻分类

    研究在线非参数分类中的一个实例，并考虑经典的 1 最近邻算法，证明它在可实现设置中针对支配或平滑对手实现次线性遗憾 - 即消失的错误率。

    Jul, 2023

  • 基于距离的分类器的 PAC-Bayesian 分析：最近邻为什么有效！

    本文介绍了一种基于稀疏先验的 PAC-Bayesian 限制方法，将 K 最近邻分类器转化为核空间框架以求得其广义误差的界限，并在实验中证明了其高效性。

    Sep, 2021

  • 分类的自适应最近邻规则

    该论文提出了一种改进的 K 近邻分类器，它可以自适应地为每个查询选择 K，该选择取决于每个邻域的属性，因此可能在不同点之间显着变化，并且可以利用条件概率推导推导出一些收敛界限。

    May, 2019

  • 随机 k 近邻图中的最短路径距离

    研究使用密度 p 在 R^d 上按随机方式绘制的 n 个数据点构建的加权或未加权 k 最近邻图的最短路径距离在样本大小趋近于无穷大时的收敛性，证明了对于未加权 k 最近邻图，此距离会收敛到底层空间上的不良距离函数，其性质对机器学习不利。同时，研究了加权 k 最近邻图中最短路径距离的行为。

    Jun, 2012

  • 一种评估最近邻分类的统一加权框架

    我们首次全面且大规模地评估了经典的最近邻（NN）、模糊最近邻（FNN）和模糊粗糙最近邻（FRNN）分类方法，同时我们发现 NN、FNN 和 FRNN 都与 Boscovich 距离表现最佳，NN 采用 Yager 距离权重的方式可以达到与 Samworth 距离和等级权重相结合的方式相当的性能，FRNN 通常优于 NN，而 NN 又明显优于 FNN。

    Nov, 2023

  • 神经网络分类器的过度风险收敛速率

    神经网络在模式识别和分类问题中的成功表明其具备与支持向量机（SVMs）或提升分类器等其他传统分类器不同的特性。本文研究了基于神经网络的插件分类器在二元分类设置中的性能，以其超出风险的度量为基准。相较于文献中的典型设置，我们考虑了更一般的实践场景，该场景在两个方面与实际相似：首先，要近似的函数类别包括了 Barron 函数作为一个合适的子集；其次，构建的神经网络分类器是一个替代损失的最小化者，因此可以轻松应用基于梯度下降的数值优化方法。我们研究了考虑的函数类别很大，最优速率不可能更快于 n 的负一次方，但这是一个无关维度的速率情景，可以利用神经网络的逼近能力。特别地，我们分析了神经网络的估计和逼近特性，以获得超出风险的无关维度、均匀收敛速率。最后，我们证明所获得的速率实际上是最小最大优化的，尽管存在一个对数因子；而最小最大下界则展示了这一情景中边际假设的效果。

    Sep, 2023

  • 不平衡分类问题的尖锐误差界限：少数类示例有多少个？

    处理不平衡分类数据时，重新权衡损失函数可以在风险度量内平衡正负类的真实率。然而，现有结果未能充分解决不平衡分类框架中的一个主要挑战，即相对于整个样本空间，一个类别的尺寸微不足道，并且需要将风险函数按趋近于零的概率重新缩放。为了解决这一差距，我们在罕见类概率接近零的情况下提出了两个新的贡献：(1) 用于约束平衡实验风险最小化的非渐近快速概率界限，以及 (2) 平衡最近邻估计的一致上界。我们的发现更清楚地了解了类别加权在实际情况下的好处，并为该领域的进一步研究开辟了新的途径。

    Oct, 2023