一种评估最近邻分类的统一加权框架
本论文研究使用替代距离的最近邻分类器(k-NN)算法,并探讨了基于一系列随机范数或基于一些特定的一致性条件的距离,并探究了对类别标签的自适应选择距离的两阶段 k-NN 分类器。
Nov, 2015
本文通过渐近分析导出了带权最近邻分类器超额风险(遗憾)的渐近展开式,并找到了非负权重的渐近最优向量,表明该分类器的遗憾与未加权的 k - 最近邻分类器相比,仅与特征向量的维度有关。同时,在更大的维度上,权重最优。最后,我们还证明,当允许使用负权重时,强平滑假设是可能提高收敛速度的。本文的结果得到了在模拟数据和真实数据集上的实证对比支持。
Jan, 2011
探究最近邻方法在异常检测中的表现,通过综合模拟实验和理论分析得到最近邻方法相对于其他现有算法的优异性,并针对不同维度数据和异常观测提供有限样本一致性保证和分类误差率公式。
Jul, 2019
本研究提出一种名为 Differential Nearest Neighbors Regression (DNNR) 的新方法,通过在训练期间估计局部梯度并在推断期间使用估计的梯度执行 n 阶泰勒逼近。在超过 250 个数据集的大规模评估中,我们发现,DNNR 在保持 KNN 的简单性和透明度的同时,表现与最先进的梯度提升方法和 MLP 相当,允许我们导出理论误差界并检查失败,从而在需要 ML 模型透明度的时代提供了绩效和可解释性之间的良好平衡。
May, 2022
本文介绍了一种基于稀疏先验的 PAC-Bayesian 限制方法,将 K 最近邻分类器转化为核空间框架以求得其广义误差的界限,并在实验中证明了其高效性。
Sep, 2021
提出了一种基于模糊粗糙集理论的新型 Choquet 距离测量方法,该方法能够灵活捕捉数据中的非线性关系,结合了条件属性对决策属性的相互作用,从而使距离更加灵活和准确。在机器学习中应用该方法,特别强调基于距离的分类方法(如 k 最近邻),并研究了两种基于正区域的模糊粗糙集测量方法,以及两种从模糊粗糙集理论中推导出的使其适用于 Choquet 积分的单调化程序,并探讨了它们之间的差异。
Mar, 2024
本文提出了一种简单的,能够使权重最优化的局部加权回归 / 分类方法,并能够为需要估计值的每个数据点高效地找到权重和最优化的邻居数量,从而在多个数据集上展示了比标准局部加权方法更优异的性能表现。
Jan, 2017
该研究论文讨论了最近邻(NN)技术在模式识别、文本分类、目标识别等领域的应用。文中介绍了结构无关和结构相关技术,如加权 kNN,基于模型的 kNN 等结构无关技术以及 k-d 树,球树,主轴树,最近特征线,可调 NN 等结构相关算法,并提出了结构无关方法可以克服内存限制,而结构相关技术可以减少计算复杂度。
Jul, 2010
LMPHNN 是一种基于 KNN 算法的分类器,通过利用谐波平均距离 (HMD) 来改善分类性能,在小样本量或异常值方面具有较低的敏感性。
May, 2024
本文探讨半监督的 Fréchet 回归领域,提出了两种基于图距离的半监督 NW Fréchet 回归和半监督 kNN Fréchet 回归方法,扩展了现有的半监督欧几里得回归方法的范围,并确定了它们在有限有标签数据和大量无标签数据的情况下的收敛速度,并考虑了特征空间的低维流形结构。通过广泛的模拟和对真实数据的应用,我们证明了我们的方法在性能上优于自身的有监督对照方法,填补了现有研究的空白,并为半监督的 Fréchet 回归领域的进一步探索和发展铺平了道路。
Apr, 2024