Jul, 2024

几何启发的核机器用于超越梯度下降的协作学习

PDF
TL;DR本研究提出了一种新颖的数学框架，通过几何启发的核机器实现协作学习，该方法包含关于泛化误差、逼近误差和样本复杂度的界限说明。通过利用相关优化问题在再生核希尔伯特空间中的凸性特性，我们可以学习给定数据点周围的有界几何结构，并有效地解决全局模型学习问题。我们的解决方案不需要客户端使用随机梯度下降进行多次局部优化，也不需要客户端 / 服务器之间的通信轮次来优化全局模型。我们强调，大量实验证明了该方法是与最先进技术相竞争的选择。
发现论文，激发创造
  • 本地化多核学习 —— 一种凸优化方法

    本文提出了一种基于局部策略的多核学习方法，采用凸优化算法和 Fenchel 对偶表示，对于应用于计算生物学和计算机视觉等应用领域的真实数据集，相比全局和非凸局部策略，此方法能够获得更高的预测准确性。

    Jun, 2015

  • 来自数据的核学习到深渊的核流

    通过基于先前指定的内核，采用数值逼近方法进行核函数选择 / 构造，从而探索构造非参数深度内核的解决方案，通过减半插值点的数量（使用与内核相关联的本征 RKHS 范数进行度量）而不会显着损失精度的简单前提来进行核函数选择。

    Aug, 2018

  • 基于内核视角的深度卷积模型近似和学习

    本研究通过核方法的角度对卷积核网络进行了研究，发现其 RKHS 由补丁之间的交互项的加性模型组成，其范数通过汇聚层促进这些项之间的空间相似性，并提供了泛化界，以说明池化和补丁如何提高样本复杂度保证。

    Feb, 2021

  • 通过非参数散度估计在样本集上的核函数

    该论文提出了一种基于核函数的机器学习算法，可以通过对数据集的分组进行处理，采用独立同分布的样本集作为数据点，利用非参数估计器提取核函数特征从而实现多种分类、回归和异常检测等任务。

    Feb, 2012

  • 高性能核机器：隐式分布式优化和随机化

    本文提出了一个基于分布式凸优化和随机化的算法框架和高性能实现，以实现基于核方法的统计模型的海量规模训练，以便有效地利用大数据。

    Sep, 2014

  • 一种在线多核并行学习方案

    本文提出了一种学习方案，通过可扩展地结合多个基于单核的在线方法来减少内核选择偏差，从而扩展了单核解空间，增加了找到高性能解的可能性，并在累积正则化最小二乘成本指标方面实验证明所提出的学习方案优于单独使用的组合单核在线方法。

    Aug, 2023

  • 带正则化最小二乘的分布式学习

    使用分布式学习和最小二乘正则化方案，在再生核希尔伯特空间（RKHS）中对分块数据子集应用最小二乘正则化方案生成输出函数，以其平均值作为全局估计器或预测器，具有良好的 $L^2$ 度量和 RKHS 度量误差界限。在我们的积分算子方法中，通过运算符差分的新型二阶分解实现了分析，即使对于与一般核相关联的 RKHS 中的经典最小二乘正则化方案，我们也可以在文献中给出最佳的学习速率。

    Aug, 2016

  • 基于核岭回归的数据集元学习

    用 KIP 算法从大规模数据集中提取出适合于训练机器学习模型的小规模数据集且在保持模型性能的同时可以大幅减小数据集容量的同时可以实现隐私保护，该算法在 MNIST 和 CIFAR-10 的分类中获得了最先进的结果。

    Oct, 2020

  • 使用受监督的卷积核网络进行端到端核学习

    本文提出了一种基于多层核机的图像表示方法，并通过监督学习来调整核的形态。该方法构建了一种新的卷积神经网络，在一些深度学习数据集上取得了良好的分类表现，表明了该方法在图像相关任务中的应用价值。

    May, 2016

  • 卷积和池化在核方法中的学习

    本研究探讨了一层卷积、汇集和降采样操作组成的核的 RKHS，并用它来计算高维函数的一般化误差尖锐的渐近值。结果表明，卷积和池化操作在一层卷积核中如何在逼近和泛化能力之间权衡。

    Nov, 2021