重现核巴拿赫空间中的学习稀疏表示定理
本文研究重现核巴拿赫空间的建构,提出广义 Mercer 核来构建 p - 范数的 RKBS,导出支持向量机在 p - 范数的 RKBS 中的等效有限维最优化解,并说明某些特殊情况下的支持向量机等价于经典稀疏回归问题,为后续研究稀疏学习方法提供基础支持。
Dec, 2014
本文提出一种基于泛函分析的、统一且独立于构造方式的 RKBS 定义和重现核,通过连续的双线性形式和特征映射的配对实现了各种既有 RKBS 构造的统一,并提出了一类新的 Orlicz RKBS,最后在所提出的框架中发展 RKBS 的机器学习表示定理,该定理也统一了现有 RKBS 中的表示定理。
Jan, 2019
探讨了基于经验风险惩罚的多核学习问题。它综合考虑了经验 $L_2$ 范数和核引起的再生核希尔伯特空间(RKHS)范数及其正则化参数的数据驱动选择的复杂度惩罚。主要关注的是当核心总数很大但仅需要较少数量的核心来表示目标函数时,该问题是稀疏的情况。目标是建立超预言不等式的超额风险,用于描述该方法是如何适应未知设计分布和问题的稀疏性。
Nov, 2012
通过研究神经网络所定义的函数空间,我们展示了深度神经网络定义合适的再生核 Banach 空间,并且通过应用再生核 Banach 空间的理论和变分结果,得到了支持常用有限网络结构的再现定理,为更实际可行的神经网络架构提供了一步。
Mar, 2024
该论文介绍了一种用于深度学习的假设空间,利用深度神经网络(DNNs),通过将 DNN 视为两个变量的函数,即物理变量和参数变量,并考虑 DNN 的原始集合,这些集合位于由 DNN 的深度和宽度确定的权重矩阵和偏差的集合,然后通过在弱 * 拓扑中完成原始 DNN 集合的线性张量构建物理变量的函数的 Banach 空间,我们证明了所构建的 Banach 空间是一个再生内核 Banach 空间(RKBS),并构建了其再生内核。我们通过建立学习模型的 representer 定理,研究了结果 RKBS 中的正则化学习和最小插值问题,representer 定理表明这些学习模型的解可以表示为给定数据和再生内核确定的有限数量的内核会话的线性组合。
Mar, 2024
本文介绍了使用 reproducing kernel Hilbert space embeddings of conditional distributions 与 vector-valued regressors 之间的等价关系,从而引入了一个自然的正则化损失函数以更好地理解和使用这种嵌入方法,并且通过向量回归方法的应用和导出推导生成了嵌入算法的最小一致收敛率 O (log (n)/n),并在强化学习任务中得出了一个稀疏嵌入算法。
May, 2012
本文提供一种有限样本和无限样本再生核希尔伯特空间的(线性组合的)核函数连接的表现定理,将分析函数组成的机器学习算法的数学基础。同时,我们还展示了如何将连接的机器学习问题重构为神经网络,并说明了我们的表现定理适用于各种先进的深度学习方法。
Sep, 2017
本文探讨了在希尔伯特空间中度量学习和偏好学习问题,通过借助问题结构内在特性中诱导的内积的范数,获得了一种创新的代表定理,并演示了如何将其应用于三元组比较的度量学习任务,并显示出它对于这个任务的代表定理是简单且自包含的。在再生核希尔伯特空间的情况下,证明了解决学习问题的解可以使用核项表达,类似于经典的代表定理。
Apr, 2023
本文提出了使用再生核 Banach 空间(RKBS)代替传统的再生核 Hilbert 空间(RKHS)来解决支持向量机问题,并介绍了傅里叶变换技术来在广义本地空间中引入再生性质,得到了一个具有特定再生核的再生核 Banach 空间,重述了支持向量机的优化问题和解,并举例说明了 Matérn 函数在此问题中的应用。
Sep, 2012
本文分析了在 L^∞范数下再现核希尔伯特空间(RKHS)的可学习性,与核方法和随机特征模型在安全和安全关键应用中的性能密切相关,建立了样本复杂度的下限和上限,并证明了在球面上的点积核下,如果 β 与输入维度 $d$ 无关,则可以使用多项式样本有效地学习 RKHS 中的函数。
Jun, 2023