使用张量内核求解 $\ell^p$ 范数正则化
本文研究了使用 L2 正则化学习相同内核类族的内核以及使用 Ridge 回归学习内核的问题。作者得出了优化问题的解决方案,并提出了一种有效的迭代算法来计算该解决方案。此外,该文基于稳定性进行了一项新颖的理论分析,并给出了包含仅有一个加性项 O(pp/m)的正交内核的学习界,当与标准内核 Ridge 回归稳定性界进行比较时。我们的实验结果表明,L1 正则化可以在少量的内核中带来适度的改进,但在大规模情况下的性能降低,而 L2 正则化在大量内核下实现了显著的性能改进。
May, 2012
该论文研究了如何通过欧几里得球的凸松弛和乘子法方法解决张量学习中由于痕迹规范化限制而存在的限制,并在合成和真实数据集上对该方法进行了验证,表明其估计误差显著降低,同时保持计算可行性。
Jul, 2013
本文提出了利用稀疏性和 / 或低秩性的张量数据重建高阶张量的新颖 Kaczmarz 算法,并开发了块和加速变体,以及对这些算法的充分收敛分析。对合成和真实数据集上的各种数值实验表明,所提方法在图像和视频处理任务中具有显著的潜力和有效性,例如图像序列去条纹和视频去卷积。
May, 2024
本文针对不同特征映射的多核学习,推导出其本地 Rademacher 复杂度的上限,提供了比全局方法更紧致的超限风险边界,并在 1<=p<= 无穷的所有情况下进行了分析。作者还通过推导获得了 O (n^-alpha/(1+alpha)) 的快速收敛速度,其中 alpha 是个体内核的最小特征值衰减率。
Mar, 2011
本文研究了在重现核希尔伯特空间中进行正则化学习情景时,如何在核函数的温和假设下获得最佳的错误率。研究发现,可以利用一种增长速度比 RKHS 规范中的标准二次增长慢得多的正则化项。
Jan, 2010
提出了一种通过闭合形式的阈值函数来生成稀疏感应正则化器,并应用于低秩张量补全问题中,基于交替方向乘子法的高效算法被开发,证明生成的序列是有界的并且任何极限点都是一个稳定点。在合成和实际的数据集上的实验结果表明,所提出的算法在恢复性能方面优于现有技术方法。
Oct, 2023
本文采用数据自适应 RKHS Tikhonov 正则化方法,提出基于可识别性函数空间的非局部算子核学习的收敛估计器,成功地从实际数据中学习微观尺度上应用于非均质固体的应力波传播的均质化模型,并在健壮性,泛化性和准确性方面优于基线方法。
May, 2022
提出一个新的方法,将 Schatten 范数的 Hessian 矩阵应用于正则化解决线性反演成像问题,并通过原始 - 对偶算法进行求解,该方法在实验中证明在应对多种真实和模拟数据的情况下表现良好。
Sep, 2012
统计学习中的各种方法建立在再生核 Hilbert 空间中的核上。在应用中,核通常根据问题和数据的特征进行选择,然后用于在未观察到解释性数据的点处推断响应变量。本文考虑了在高维紧致集合中定位的数据,并且对核本身的近似进行了讨论。新的方法考虑了径向核函数的 Taylor 级数近似。对于单位立方上的 Gauss 核,本文建立了关联特征值的上限,该特征仅在指数方面呈多项式增长。新方法证实了比文献中考虑的较小正则化参数,从而导致更好的近似。该改进证实了像 Nyström 方法这样的低秩近似方法。
Mar, 2024
本文研究了支持向量回归的变分问题在巴拿赫函数空间中的应用,并利用 Fenchel-Rockafellar 对偶理论给出了对偶问题及相关最优性条件的解析公式;我们提出了一种新的张量核表示计算框架,充分适用于幂级数张量核,也包括指数和多项式核泛函空间的推广。在复数情况下,还包括 Szeg"o 和 Bergman 核的推广。
Mar, 2016