流形上的谐波指数族
本文提出了一个非参数条件分布族,使用适当的 RKHS 中的函数参数来推广条件指数族;给出了一个学习广义自然参数的算法,并在特定情况下建立了估计的一致性。在实验中,新方法通常优于具有一致性保证的竞争方法,并在表现突变和异方差性的数据集上与深度条件密度模型具有竞争力。
Nov, 2017
该文介绍了常见于统计学中的指数族分布,着重回顾并总结了分布的性质、双重性,以及常见分布的分解和相关公式。同时介绍了 Fisher-Rao-Riemannian 几何和统计流形的双重仿射连接信息几何,以便于后续添加新的分布选项。
Nov, 2009
该研究重新考虑了与计算最大似然估计困难有关的问题,并将其应用于分析指数随机图模型。该研究揭示了离散指数族分布与凸支撑的正规扇形之间的重要关系,这对于理解 ERG 模型的性质和行为至关重要。
Dec, 2008
提供了一种通过学习深度网络参数化的核函数来建模复杂结构的密度模型方法,相较于利用最大似然拟合的深度密度模型,虽然前者可能会得到更高似然度,但后者提供了更好描述分布形状的对数密度梯度得到更好的估计,二者有不同的优缺点。
Nov, 2018
本文提出了适用于在流形上的矢量值信号的新型高斯过程模型,考虑了流形的几何特性,并展示了在二维球面和超平面上部署的 Hodge-Matérn 高斯矢量场以及离散二维网格和理想流形的推广方向。同时,证明了我们的高斯矢量场相较于之前提出的外部场具有更加精细的归纳偏差。
Oct, 2023
在这篇论文中,我们讨论了一种广义均场理论,它使用可追踪分布的丰富集合来近似表示一类难以处理的分布,并通过分布空间上的约束优化来实现。我们还介绍了一类广义均场算法,用于复杂的指数族模型的近似推断,它将复杂模型分解成一组不相交变量簇,并使用一组规范的定点方程来迭代地更新参数,找到保留每个簇内原始依赖结构的局部最优参数,因此完全分解了整体推断问题。通过实验证明,我们比较了不同可追踪族群(不同粒度的簇)对推理质量的影响,并将其与 BP 算法在几个标准模型上进行了比较。还讨论了高阶 MF 逼近的可能扩展。
Oct, 2012
指数族是统计学、信息论和机器学习中的主要模型,其可以通过累积函数或者分区函数进行标准化。减法式和除法式标准化都是严格凸函数,并且引发一对 Bregman 和 Jensen 散度。本研究首先证明了指数族非标准化密度之间的 α- 散度等于分区函数引发的 α- 偏倚 Jensen 散度。然后,研究展示了配对的准算术平均对比可用于定义凸函数变形和对应的对偶平面以及散度的比较凸性。
Dec, 2023
本文提出了一种基于随机游走的网络表征学习技术,使用指数族分布来捕捉节点之间的丰富交互模式,并研究了该模型的三个具体实例,实验结果表明该技术在两个下游机器学习任务中胜过基线方法。
Nov, 2019
本文将 alpha-entmax 方法扩展到连续域,同时提出了基于连续域注意机制的梯度反向传播算法,并通过在文本分类、机器翻译和视觉问答方面的实验表明了连续注意力机制的应用。
Jun, 2020