核平均嵌入的极小极大估计

Feb, 2016

Minimax Estimation of Kernel Mean Embeddings

Ilya Tolstikhin, Bharath Sriperumbudur, Krikamol Muandet

TL;DR研究了基于从 P 中独立随机抽样的应用正定核 k 的各种估计器（包括经验估计器）来最小化估计 Bochner 积分 μk（P）的理论保证。我们的主要发现是，对于一类离散分布和一类无穷可微分布，n ^ {- 1/2} 的收敛率分别是最小的，这是独立于核的平滑性和密度的（如果存在）。结果对非参数假设测试，密度估计和特征选择等统计应用具有实际意义。

Abstract

In this paper, we study the minimax estimation of the bochner integral $$\mu_k(P):=\int_{\mathcal{X}} k(\cdot,x)\,dP(x),$$ also called as the kernel mean embedding, based on random samples drawn i.i.d.~from $P$,

bochner integral kernel mean embedding minimax estimation reproducing kernel hilbert space energy distance

发现论文，激发创造

贝叶斯学习核嵌入

该研究提出了一种新的概率模型 —— 贝叶斯核嵌入模型，它可以用于解决核学习中的核选择问题，并给出了一个简单、方便的边缘似然函数用于确定核超参数。

Mar, 2016

核均值嵌入分布：综述与发展

该文介绍了一种基于希尔伯特空间嵌入的分布表征方法，该方法利用再生核希尔伯特空间将分布映射到一个空间中，并扩展了一般支持向量机和其他核方法的整个内核方法库，为概率测量、统计推断、因果发现和深度学习等领域提供了广泛应用，并讨论了该方法的理论保证，应用和未来的研究方向。

May, 2016

Lipschitz ball 上的熵估计的最优速率

本论文研究了在 Lipschitz ball 中无界密度的极小极大熵估计，使用 Orlicz 函数得出了新的估计率，并探讨了核密度估计的最坏情况表现以及与 Fisher 信息相关的不等式。

Nov, 2017

核均值估计与斯坦效应

该研究通过分析定量估计中的 Stein 现象，提出一个更优的核均值估计器，进而展示了一类比标准估计器更好的估计器，并着重讨论了其中的子类，提出了一种高效的收缩估计器。

Jun, 2013

条件矩模型的极小极大估计

本文提出了一种估计条件动量限制模型的方法，其中包含一个极小 - 极大标准函数，分析了估计量的统计估计率，并提供了几种实践中使用的假设空间的应用。

Jun, 2020

估计流形维度的最小极小率

本文研究了机器学习和计算几何中的一些问题，主要关注于如何准确估算支持概率分布的流型的内在维度，同时提出了相应的上下界极值估算公式。

May, 2016

平移不变核 HSIC 估计的极小最大速率

在本研究中，我们证明了具有连续有界平移不变特征核的 Borel 测度中，Hilbert-Schmidt 独立性准则（HSIC）在 R^d 上的最优最小化估计率为 O (n^(-1/2))，从而证实了许多经常使用的估计器（包括 U 统计量、V 统计量和 Nystrom-based 统计量）在 R^d 上的最小化最优性。

Mar, 2024

极小化流形估计

本文研究在给定嵌入在 R^D 空间的 d 维流形 M 的嘈杂样本的情况下，通过 Hausdorff 距离估计流形 M 的极小极大收敛速率，它假定流形满足光滑性条件并且噪声分布具有紧支撑，结果显示最优收敛速率是 n^{-2/(2+d)}，因此极小极大速率仅取决于流形的维度，而与嵌入空间的维度无关。

Jul, 2010

核平滑积分逼近

本文研究了核密度估计在非参数回归模型中的应用，提出了一种选取带宽参数的方法，并证明了在该条件下，估计的线性函数是渐近正态的，其渐近方差不依赖于回归函数，同时探讨了函数的光滑程度等影响估计结果的因素。

Sep, 2014

在 Kullback--Leibler 损失下改进的极小极大预测密度

该研究探讨了基于多元正态分布向量的贝叶斯预测密度问题，通过使用超调和先验分布得到的任何 Bayes 预测密度都是最小最大化的。

May, 2006