通过学习非对称局部自适应核增强核的灵活性

Oct, 2023

通过学习非对称局部自适应核增强核的灵活性

Enhancing Kernel Flexibility via Learning Asymmetric Locally-Adaptive Kernels

Fan He, Mingzhen He, Lei Shi, Xiaolin Huang, Johan A.K. Suykens

TL;DR本文介绍了一种新型的局部自适应带宽（LAB）径向基函数（RBF）核，利用可训练参数增强了核的灵活性，同时建立了一个非对称核岭回归框架并引入了一种迭代式核学习算法，实验结果表明该算法在处理大规模数据集上具有显著性能优势，并且在回归准确度上优于现有的基于核的学习方法，甚至超过了残差神经网络。

Abstract

The lack of sufficient flexibility is the key bottleneck of kernel-based learning that relies on manually designed, pre-given, and non-trainable kernels. To enhance kernel flexibility, this paper introduces the concept of locally-adaptive-bandwidths (LAB) as trainable parameters to enh

kernel-based learning locally-adaptive-bandwidths rbf kernel asymmetric kernel iterative kernel learning algorithm

发现论文，激发创造

非对称核学习的核岭回归学习分析

本文通过加入局部自适应带宽的 RBF 核和核学习技术，提升了核无岭回归，并首次证明了由 LAB RBF 核学习的函数属于可重构核希尔伯特空间。尽管所提出模型中没有显式正则化，但其优化等效于在可重构核希尔伯特空间中解决一个 l0 正则化问题，解释了其泛化能力的来源。在近似分析角度下，我们引入了一种 lq - 范数分析技术（其中 0<q<1），以在适度条件下推导所提模型的学习率。实验结果在合成和真实数据集上验证了我们的理论推论。

Jun, 2024

非参数学习非局部算子中的核函数

本文采用数据自适应 RKHS Tikhonov 正则化方法，提出基于可识别性函数空间的非局部算子核学习的收敛估计器，成功地从实际数据中学习微观尺度上应用于非均质固体的应力波传播的均质化模型，并在健壮性，泛化性和准确性方面优于基线方法。

May, 2022

自动化谱核学习

本文提出了一种基于非平稳谱核并能从数据中灵活学习谱度量的强大高效谱核学习框架，还导出了一个基于 Rademacher 复杂度的数据相关推广误差界，并提出两个正则化项以提高性能。实验结果表明该算法的有效性并验证了作者的理论结果。

Sep, 2019

基于随机特征的在线多核学习在未知动态环境下的应用

本文提出了一种基于随机特征逼近和正交促进的可扩展多内核学习方法以实现所需的非线性学习函数，并发展了自适应多核学习方法以进一步提高动态环境下的性能，这种方法不仅考虑了数据驱动的内核组合学习，还考虑了未知动态方面，并在合成和真实数据集上进行了测试以展示算法的有效性。

Dec, 2017

来自数据的核学习到深渊的核流

通过基于先前指定的内核，采用数值逼近方法进行核函数选择 / 构造，从而探索构造非参数深度内核的解决方案，通过减半插值点的数量（使用与内核相关联的本征 RKHS 范数进行度量）而不会显着损失精度的简单前提来进行核函数选择。

Aug, 2018

由广义高斯 RBF 生成的复制核希尔伯特空间的预约 $L^2$- 度量

应用广义高斯径向基函数（RBF）在机器学习算法中的性能优于其他函数，通过对比高斯 RBF 核函数、Sigmoid 函数和 ReLU 函数，本文展示了广义高斯 RBF 在核函数中的应用及其在核回归、支持向量机（SVM）和模式识别中的成果。

Dec, 2023

平滑自适应假设迁移学习

通过提出两阶段核岭回归的 Smoothness Adaptive Transfer Learning (SATL) 算法，解决了现有两阶段基于核的假设迁移学习算法在实践中由于目标 / 源与偏移之间的可变和未知平滑度而适应性不足的问题，通过采用高斯核适应目标 / 源以及其偏移函数的未知平滑度，SATL 算法能够实现最小极值优化，同时通过最小极值收敛速率揭示了影响迁移动态的因素，并证明了与非迁移学习设置相比，SATL 具有更好的性能。

Feb, 2024

非对称网络近似跨域学习

本研究提出了一种基于非对称核的泛化途径来研究基于核的网络的逼近能力，使用了一系列核并得出了与输入空间维度相比具有较小光滑度的函数逼近结果。

May, 2023

核化赌博机中适应误差核正则性

研究了在核化赌博机问题中，在未知正则性的情况下学习算法是否能够自适应于相关核函数的正则性。通过研究转化不变核的正则性自适应性，我们推导出自适应性的下限，证明不可能在具有不同规则性的 RKHS 对中同时实现最优累计遗憾。通过连接在不同功能空间中自适应的统计困难性，我们展示了这一下限的紧密性。

Apr, 2023

动态和非平稳环境中的基于核的函数学习

机器学习中一个核心主题是从稀疏和嘈杂的数据中进行函数估计。本文研究了内核岭回归，并推导了在非平稳分布下的收敛条件，同时解决了可能无限次发生的随机调适情况，包括重要的探索 - 开发问题。

Oct, 2023