Nov, 2012

多核学习中的稀疏性

PDF
TL;DR探讨了基于经验风险惩罚的多核学习问题。它综合考虑了经验 $L_2$ 范数和核引起的再生核希尔伯特空间（RKHS）范数及其正则化参数的数据驱动选择的复杂度惩罚。主要关注的是当核心总数很大但仅需要较少数量的核心来表示目标函数时，该问题是稀疏的情况。目标是建立超预言不等式的超额风险，用于描述该方法是如何适应未知设计分布和问题的稀疏性。
发现论文，激发创造
  • 核学习中的正则化

    本文研究了在重现核希尔伯特空间中进行正则化学习情景时，如何在核函数的温和假设下获得最佳的错误率。研究发现，可以利用一种增长速度比 RKHS 规范中的标准二次增长慢得多的正则化项。

    Jan, 2010

  • 重现核巴拿赫空间中的学习稀疏表示定理

    通过在 Reproducing Kernel Banach Space（RKBS）中建立显式的代表定理，我们探讨了该 RKBS 中代表的性质，与正则化参数对于解决方案的稀疏性的关系，并证明了一些特定的 RKBS 具有解决稀疏学习问题的能力

    May, 2023

  • 一种在线多核并行学习方案

    本文提出了一种学习方案，通过可扩展地结合多个基于单核的在线方法来减少内核选择偏差，从而扩展了单核解空间，增加了找到高性能解的可能性，并在累积正则化最小二乘成本指标方面实验证明所提出的学习方案优于单独使用的组合单核在线方法。

    Aug, 2023

  • 使用分层多核学习探索大型特征空间

    使用正定核函数和稀疏奖励惩罚来实现高维特征空间中的多核学习，从而在非线性变量选择中取得卓越的预测性能。

    Sep, 2008

  • 强混合观测的深度学习：稀疏处罚正则化与极小极大优化

    深度神经网络在依赖数据上的显式正则化和优化性能最近取得了相当大的进展。本文研究了从强混合观测样本中进行深度学习，并处理了平方损失和一类广义损失函数。对于包括回归估计、分类、时间序列预测等的一般框架，建立了期望超越风险的奥拉克不等式并给出了一类 H"older 平滑函数的界限。针对强混合数据和次指数误差的非参数回归，我们针对 $L_2$ 误差建立了奥拉克不等式，并研究了该误差在一类 H"older 组合函数上的上界。对于具有高斯和拉普拉斯误差的非参数自回归的特定情况，我们建立了 $L_2$ 误差在此 H"older 组合类上的下界。在对数因子上，这个界限与其上界匹配，因此深度神经网络估计器实现了最佳的极小化速率。

    Jun, 2024

  • 稀疏惩罚优化

    本文介绍从一般的角度分析在使用稀疏估计方法中相关的优化工具和技术，包括近端方法、块坐标下降、加权 L2 正则技术、工作集和家族方法以及非凸形式和扩展。同时，我们提供了一组广泛的实验来比较各种算法在计算方面的差异。

    Aug, 2011

  • 带正则化最小二乘的分布式学习

    使用分布式学习和最小二乘正则化方案，在再生核希尔伯特空间（RKHS）中对分块数据子集应用最小二乘正则化方案生成输出函数，以其平均值作为全局估计器或预测器，具有良好的 $L^2$ 度量和 RKHS 度量误差界限。在我们的积分算子方法中，通过运算符差分的新型二阶分解实现了分析，即使对于与一般核相关联的 RKHS 中的经典最小二乘正则化方案，我们也可以在文献中给出最佳的学习速率。

    Aug, 2016

  • 非参数稀疏性和正则化

    研究非线性模型下的监督学习与变量选择问题，提出一种基于偏导数的非参数稀疏模型，利用再生核希尔伯特空间的概念和近端方法得出最小化问题及迭代求解算法，并通过理论和实验分析表明其具有优秀的性能表现。

    Aug, 2012

  • 深度神经网络正则化的核视角

    通过使用再生核希尔伯特空间的范数作为正则化深度神经网络的新视角来提高学习效果，并提出了一些新的有效的正则化策略，实验结果表明这种方法在小数据集或对抗鲁棒性较高的模型上都取得了很好的效果。

    Sep, 2018

  • 稀疏深度神经网络的统计学习

    基于经验风险最小化与 l_1 正则化的深度神经网络估计器，我们推导出其在回归和分类（包括多类别）中的过量风险的一般界限，并证明它在各种函数类的整个范围内几乎达到最小值（取对数因子）。

    Nov, 2023