自适应多类最近邻分类器

WWWApr, 2018

An adaptive multiclass nearest neighbor classifier

Nikita Puchkin, Vladimir Spokoiny

TL;DR研究多类分类问题中 $k$- 近邻分类器的平滑参数选择方法，提出一种基于凸组合的聚合方法并证明其适应未知平滑参数和边际，以及在温和条件下的收敛速率。

Abstract

We consider a problem of multiclass classification, where the training sample $S_n = \{(X_i, Y_i)\}_{i=1}^n$ is generated from the model $\mathbb P(Y = m | X = x) = \eta_m(x)$, $1 \leq m \leq M$, and $\eta_1(x), \dots, \eta_M(x)$ are unknown $\alpha$-Holder continuous functions.Given a

multiclass classification k-nearest-neighbors classifier smoothing parameter convex combination rates of convergence

发现论文，激发创造

分类的自适应最近邻规则

该论文提出了一种改进的 K 近邻分类器，它可以自适应地为每个查询选择 K，该选择取决于每个邻域的属性，因此可能在不同点之间显着变化，并且可以利用条件概率推导推导出一些收敛界限。

May, 2019

在线最近邻分类

研究在线非参数分类中的一个实例，并考虑经典的 1 最近邻算法，证明它在可实现设置中针对支配或平滑对手实现次线性遗憾 - 即消失的错误率。

Jul, 2023

局部近邻分类及其在半监督学习中的应用

研究使用局部 -$k$- 最近邻分类器的全局超额风险的渐近展开式，通过此理论发现半监督学习问题中的局部选择 $k$ 能够实现额外风险的收敛速率，同时通过模拟研究验证了该理论。

Apr, 2017

一个平均分类算法

采用稀疏近似方法和 herding 步骤生成了一个准确且易于并行化的分类算法，以支持使用尽可能少的训练样本对内核进行评估，涉及分类算法、内核评估和稀疏性等关键词。

Jun, 2015

一个贝叶斯一致的 1-NN 分类器

通过简单修改最近邻分类器，我们展示了一个强 Bayes 一致的学习器，优于 k-NN 分类器，并在限制样本大小和算法时间方面具有较大的优势，获得了令人鼓舞的实验结果。

Jul, 2014

最近邻模式分类与选择性采样的收敛性

本文提出并证明了三种新的启发式算法可以用于遥感应用中的样本选择，以最小化模板来估计其位置估计与真实模板之间的误差。

Sep, 2013

通过学习平滑的密度函数实现可证明的鲁棒分类

通过利用神经网络逼近高斯核的能量函数并借此在随机噪声下进行稳健分类问题，本文提出了经验贝叶斯平滑分类器并在随机平滑框架下进行了理论研究，并在 MNIST 数据集上进行了测试，通过对抗训练和以所学平滑密度为基础的走 - 跳采样，实现了比经验防御更高的稳健性能。

May, 2020

学习具有低内在维度的概念的平滑分析

传统的监督学习模型中，学习器的目标是基于一些类别中最适应的概念，通过学习任意分布的示例，输出一个与之相差不超过 epsilon 的假设。本研究引入了平滑分析框架，要求学习器只需与对小的随机高斯扰动具有鲁棒性的最佳分类器竞争，从而提供了广泛的学习结果。此类别包括依赖于低维子空间（即多索引模型）和具有有界高斯曲面积的概念。有趣的是，我们的分析还为传统的非平滑框架（如学习边际）提供了新的结果。特别地，在时间复杂度为 k ^poly（log（k）/（epsilon * gamma））的算法中，我们首次获得了关于 k 半空间求交的无偏学习算法，这里 gamma 是边际参数。在之前的工作中，最优的运行时间复杂度是指数级的（Arriaga 和 Vempala，1999 年）。

Jul, 2024

最近邻分类的收敛速度

本文提出了一种新的最近邻方法，它能够适应不同空间区域的不同距离尺度，并分析其在度量空间的行为，从而得出分布相关的有限样本收敛速率，并实现了广泛数据空间的最近邻的普遍一致性。

Jun, 2014

基于最近邻图的得分函数异常检测

提出了一种新的非参数自适应异常检测算法，它基于从 $n$ 点名义数据最近邻图推导出的得分函数。该算法适用于高维数据集，可以在不需要选择复杂的调整参数或函数逼近类别的前提下自适应地适应局部结构，如维度局部变换。

Oct, 2009