Nov, 2018

通过双重对偶嵌入估计核指数族

PDF
TL;DR本文提出一种基于罚函数的最大对数似然估计方法，针对自变量在再生核 Hilbert 空间中的指数族分布进行研究，通过 “双重对偶嵌入” 技术避免了划分函数的计算，同时还提出灵活的采样策略以节约推理阶段的蒙特卡罗采样成本，并将该估计器推广到核条件指数族中。我们还将核指数族估计方法和 MMD-GANs 相联系，揭示了理解 GAN 的新视角，该方法在时间和内存效率上优于基于分数匹配的估计器，且在统计收敛率上表现更强。实验结果表明，该估计器在性能上优于现有的最先进技术。
penalized maximum log-likelihood estimationexponential family distributionsreproducing kernel hilbert spacemonte-carlo samplingmmd-gans
发现论文，激发创造
  • 基于对抗动力学嵌入的指数族估计

    提出了一种有效的用于指数族模型最大似然估计的算法，包括神经网络模型的一般能量函数参数化。通过运用动力学嵌入的神经架构，利用动力学扩展模型获取与对抗性双重取样器相关的估计，我们继承 HMC 的灵活性，同时为增广模型提供了可处理的熵估计。通过同时学习双重取样器和原始模型，并共用它们之间的参数，我们避免了需要在模型训练后设计单独的采样过程的要求，从而实现更有效的学习。

    Apr, 2019

  • 学习深度核函数用于指数族密度

    提供了一种通过学习深度网络参数化的核函数来建模复杂结构的密度模型方法，相较于利用最大似然拟合的深度密度模型，虽然前者可能会得到更高似然度，但后者提供了更好描述分布形状的对数密度梯度得到更好的估计，二者有不同的优缺点。

    Nov, 2018

  • 具有 Nyström 核指数族的高效和基本得分估计

    本研究提出了一种学习指数族密度模型的快速方法，其中自然参数在再生核希尔伯特空间中，可以是无限维的。该模型通过拟合对数密度的导数来实现学习，从而避免了计算归一化常数的需求。该方法在密度估计和构建自适应哈密尔顿蒙特卡洛取样器方面得到了评估。

    May, 2017

  • 无限维指数族密度估计

    使用无限维度的指数族函数族估算未知的概率密度，通过解决一个简单的有限维度线性系统，获得比非参数核密度估算器更好的结果，该估算器基于 Fisher 散度，可以在 Kullback-Leibler 散度下近似表示广泛类别的概率密度。

    Dec, 2013

  • 关于计算高效学习指数族分布的研究

    在本文中，我们提出了一种新的损失函数和一种计算高效的估计器，它在温和条件下是一致且渐近正态的。我们将我们的方法视为同一类指数族的重新参数化分布的最大似然估计，并证明我们的估计器可以解释为最小化特定的 Bregman 得分以及最小化代理似然的实例。同时，我们还提供了有限样本保证，以在参数估计中实现误差（在ℓ₂范数中）为 α，样本复杂度为 O (poly (k)/α²)。当定制为节点稀疏马尔可夫随机场时，我们的方法实现了 O (log (k)/α²) 的优化样本复杂度。最后，我们通过数值实验展示了我们估计器的性能。

    Sep, 2023

  • 最大均值差异下的生成模型统计推断

    本文介绍了一种基于最小距离估计的统计模型，即对于可能性不易计算的生成模型，通过指定核函数，作为一个度量距离的最大均值差异（MMD）可以用来进行最小距离估计，同时结合自然梯度下降算法的应用使这种估计更加高效和鲁棒。

    Jun, 2019

  • 核条件指数族

    本文提出了一个非参数条件分布族，使用适当的 RKHS 中的函数参数来推广条件指数族；给出了一个学习广义自然参数的算法，并在特定情况下建立了估计的一致性。在实验中，新方法通常优于具有一致性保证的竞争方法，并在表现突变和异方差性的数据集上与深度条件密度模型具有竞争力。

    Nov, 2017

  • 贝叶斯学习核嵌入

    该研究提出了一种新的概率模型 —— 贝叶斯核嵌入模型，它可以用于解决核学习中的核选择问题，并给出了一个简单、方便的边缘似然函数用于确定核超参数。

    Mar, 2016

  • 分布式估计、信息损失和指数族

    通过本文，我们研究并证明了一种简化的通信高效分布式学习框架，它利用数据子集计算本地最大似然估计量，并结合本地估计值实现对全局 MLE 的最佳近似，并证明了该框架的统计性质与误差率性质。我们还研究了使用 KL 散度方法与更常见的线性组合方法组合本地 MLE 的经验性能，并表明 KL 方法在实际设置中比线性组合方法更为优越，可解决模型错误、非凸性和异构数据分区等问题。

    Oct, 2014

  • 高效核指数族无梯度哈密尔顿蒙特卡罗

    本研究提出了核哈密顿蒙特卡罗算法（KMC）, 一种基于哈密顿蒙特卡罗的无梯度自适应 MCMC 算法。在目标密度函数不可求梯度时，KMC 通过拟合重现核希尔伯特空间中的指数族模型，自适应地学习目标的梯度结构。其具有收敛到精确解的能力，且在采样效率上与 HMC 相当并且具有极大的混合改进，通过玩具和现实应用的实验研究来支持我们的结论，包括近似贝叶斯计算和精确 - 近似 MCMC。

    Jun, 2015