基于 Rademacher 复杂度界限的条件核均值嵌入超参数学习

KDDSep, 2018

基于 Rademacher 复杂度界限的条件核均值嵌入超参数学习

Hyperparameter Learning for Conditional Kernel Mean Embeddings with Rademacher Complexity Bounds

Kelvin Hsu, Richard Nock, Fabio Ramos

TL;DR本研究提出了一种基于 Rademacher 复杂度界限的超参数学习框架，用于平衡数据拟合与模型复杂度，从而达到无需核逼近的可扩展核超参数调整方法，并证明本方法优于现行竞争者，可进一步扩展以融合有效应用深度神经网络的权重以提高泛化性能。

Abstract

conditional kernel mean embeddings are nonparametric models that encode conditional expectations in a reproducing kernel Hilbert space. While they provide a flexible and powerful framework for probabilistic inference

conditional kernel mean embeddings regularization hyperparameters probabilistic inference rademacher complexity bounds deep neural network weights

发现论文，激发创造

贝叶斯去条件核均值嵌入

本研究提出了非参数贝叶斯规则的去条件化核均值嵌入，并且展示了其与任务转换高斯过程的后验预测均值的联系。这提供了贝叶斯解释和不确定性估计，解释了它们的正则化超参数，揭示了内核超参数学习的边缘似然函数。这些发现进一步促进了无似然推断和大数据的稀疏表征等实际应用。

Jun, 2019

贝叶斯学习核嵌入

该研究提出了一种新的概率模型 —— 贝叶斯核嵌入模型，它可以用于解决核学习中的核选择问题，并给出了一个简单、方便的边缘似然函数用于确定核超参数。

Mar, 2016

测度论方法对条件均值嵌入的核分析

使用无算子、测度论方法，将条件均值嵌入（CME）作为在再生核希尔伯特空间中取值的随机变量进行了处理，并推导了一种自然的回归解释来获得经验估计，提供了彻底的理论分析，包括通用一致性。作为自然副产品，我们获得了最大均值差异和希尔伯特 - 施密特独立标准的条件类比，并通过模拟演示了它们的行为。

Feb, 2020

条件均值嵌入的严格理论

本文通过对中心化和非中心化协方差算子 CME（Conditional mean embeddings）的理论研究，讨论了 CME 的优点与问题，大幅放宽了 CME 的适用条件。在此过程中，本文演示了关于 Hilbert 空间中的高斯条件的美妙联系。

Dec, 2019

压缩的条件均值嵌入在线学习

通过算子值随机梯度下降的增量式学习算法，可以逐渐从数据中学习条件均值嵌入（CME），以便在大数据情况下处理可扩展性挑战，并在目标 CME 不包含在假设空间中时，提供在线压缩操作学习算法的有限样本性能保证。

May, 2024

核均值嵌入分布：综述与发展

该文介绍了一种基于希尔伯特空间嵌入的分布表征方法，该方法利用再生核希尔伯特空间将分布映射到一个空间中，并扩展了一般支持向量机和其他核方法的整个内核方法库，为概率测量、统计推断、因果发现和深度学习等领域提供了广泛应用，并讨论了该方法的理论保证，应用和未来的研究方向。

May, 2016

神经核条件均值嵌入

本论文介绍了一种将深度学习与核条件均值嵌入相结合的新方法，解决了核条件均值嵌入在可扩展性和表达能力方面的挑战，并在条件密度估计和强化学习中达到了竞争性能。

Mar, 2024

自动无似然推理的条件核均值嵌入的贝叶斯学习

本文提出了一种基于核嵌入的似然免费推理框架（KELFI），它自动学习模型超参数以提高推理准确性，同时具有较高的样本效率，可以解决生态学中的复杂推理问题。

Mar, 2019

作为回归器的条件均值嵌入 - 补充材料

本文介绍了使用 reproducing kernel Hilbert space embeddings of conditional distributions 与 vector-valued regressors 之间的等价关系，从而引入了一个自然的正则化损失函数以更好地理解和使用这种嵌入方法，并且通过向量回归方法的应用和导出推导生成了嵌入算法的最小一致收敛率 O (log (n)/n)，并在强化学习任务中得出了一个稀疏嵌入算法。

May, 2012

通过正定核的条件均值嵌入和最优特征选择

运用新的算子理论方法，结合核函数、随机过程和建设性学习算法，我们提出了用于条件均值嵌入的基于谱分析的优化方案，在优化模型特征选择的过程中，利用正定核的凸集。

May, 2023