核化随机批次感知机
通过基于指数的泰勒展开的显式有限多项式特征表示,我们研究了训练和使用高斯核SVM,尽管在特征数量方面不如最近提出的随机傅里叶特征[Rahimi and Recht, 2007]高效,但我们展示了这种多项式表示法可以在计算成本上提供更好的近似,这使得我们的特征在处理大数据集并进行在线或随机训练时特别有吸引力。
Sep, 2011
本文提出了一种基于核的判别式学习框架,使用概率分布作为训练数据,通过将概率分布表示为再生核希尔伯特空间中的平均嵌入,可以应用许多标准的基于核的学习技术,构造了一种支持测量机,提出了一种灵活的支持向量机,实验结果表明所提出的框架有效。
Feb, 2012
本文提出两种改进的基于 Frank-Wolfe 算法的 SVM 构建方法,能够更高效地解决大规模数据集下的最小包络球问题。实验证明,相比之前的 CVM 方法,这两种方法在大多数情况下都具有更好的扩展性。
Dec, 2012
本文探讨了在 SVM 的随机优化中使用小批量的问题,并提出了新的 mini-batched SDCA 变体。在原始基于 hinge-loss 的非光滑 primal 问题方面,我们对这两种方法都给出了保证。
Mar, 2013
通过将学习率与步数取反比,我们可以将更新规则转换为具有界限的经典感知器,并且对于训练集的循环迭代及其基于对偶变量的自动满足约束来给出相对精度,并提出了重复提供相同模式的机制,最终实验结果证明这种算法具有明显的改进。
Apr, 2013
研究了使用双重随机函数梯度的方法来扩展核方法以及其在优化问题中的应用,其中使用此方法产生的函数在核希尔伯特空间中的表现具有良好的收敛速率,并且已经被证明可以适用于像MNIST、分子空间和ImageNet这样的数据集中。
Jul, 2014
本文针对使用在SVM分类器中的学习核在多任务和终身学习场景下的问题,提出了关于大边界分类器误差的泛化界限。我们的结果表明,在学习的核族群满足条件的情况下,在同时解决多个相关任务时比单个任务学习更为有效。特别是,随着观察到的任务数量的增加,假设在所考虑的核族群中存在一种能够在所有任务上产生低逼近误差的核函数,则与学习这个好的核函数相关的额外开销后会消失,学习复杂度将收敛到当学习者掌握这个好的核函数时的学习复杂度。
Feb, 2016
本文提出了一种新的大规模支持向量机求解器Snacks,其中利用了核矩阵的Nyström逼近和随机次梯度方法的加速变体,通过详细的实证评估形式上证明其在各种基准数据集上与其他SVM求解器相当。
Apr, 2023
本文分析了本地化支持向量机在一些弱条件下的相对一致性,证明了即使训练数据集的大小发生变化,本地化 SVM 可以从全局 SVM 继承 lp- 和风险一致性。
May, 2023