使用无算子、测度论方法,将条件均值嵌入(CME)作为在再生核希尔伯特空间中取值的随机变量进行了处理,并推导了一种自然的回归解释来获得经验估计,提供了彻底的理论分析,包括通用一致性。作为自然副产品,我们获得了最大均值差异和希尔伯特 - 施密特独立标准的条件类比,并通过模拟演示了它们的行为。
Feb, 2020
通过对概率测度空间进行微分计算的视角,我们提出了一个探索算法的弱广义误差和 $L_2$ 广义误差的新框架。具体而言,我们考虑 KL - 正则化的经验风险最小化问题,并建立了通用条件,使得在训练样本大小为 n 的情况下,广义误差的收敛速率是 $O (1/n)$。在一隐藏层神经网络的平均场区域的监督学习方面,这些条件反映在对损失和激活函数的适当可积性和正则性假设中。
Jun, 2023
本文提出了一种基于核的判别式学习框架,使用概率分布作为训练数据,通过将概率分布表示为再生核希尔伯特空间中的平均嵌入,可以应用许多标准的基于核的学习技术,构造了一种支持测量机,提出了一种灵活的支持向量机,实验结果表明所提出的框架有效。
Feb, 2012
本研究提出了一种基于核平均嵌入的正则化损失,该损失使用在超球(也称为点积核)上具有旋转不变性的核,用于自监督学习图像表示。除了与现有技术竞争力充分之外,我们的方法显着减少了自监督训练的时间和内存复杂度,使其可以在现有设备上实现非常大的嵌入维度,且比以前的方法更容易适应资源有限的设置。
Jul, 2022
本文通过对中心化和非中心化协方差算子 CME(Conditional mean embeddings) 的理论研究,讨论了 CME 的优点与问题,大幅放宽了 CME 的适用条件。在此过程中,本文演示了关于 Hilbert 空间中的高斯条件的美妙联系。
Dec, 2019
运用新的算子理论方法,结合核函数、随机过程和建设性学习算法,我们提出了用于条件均值嵌入的基于谱分析的优化方案,在优化模型特征选择的过程中,利用正定核的凸集。
May, 2023
该文介绍了一种基于希尔伯特空间嵌入的分布表征方法,该方法利用再生核希尔伯特空间将分布映射到一个空间中,并扩展了一般支持向量机和其他核方法的整个内核方法库,为概率测量、统计推断、因果发现和深度学习等领域提供了广泛应用,并讨论了该方法的理论保证,应用和未来的研究方向。
May, 2016
该研究提出了一种新的概率模型 —— 贝叶斯核嵌入模型,它可以用于解决核学习中的核选择问题,并给出了一个简单、方便的边缘似然函数用于确定核超参数。
Mar, 2016
通过算子值随机梯度下降的增量式学习算法,可以逐渐从数据中学习条件均值嵌入(CME),以便在大数据情况下处理可扩展性挑战,并在目标 CME 不包含在假设空间中时,提供在线压缩操作学习算法的有限样本性能保证。
May, 2024
提出了一种将概率分布嵌入到 Reproducing kernel Hilbert space (RKHS) 中的方法,通过定义核函数,使用两个分布嵌入之间的距离来对概率分布空间中的分布进行比较,我们证明了一些距离函数的特殊性质,并讨论了它们与概率计量学中其他距离的关系,同时介绍了支持这些特殊性质的核。
Jul, 2009