指数族图匹配和排名
在本文中,我们提出了一种新的损失函数和一种计算高效的估计器,它在温和条件下是一致且渐近正态的。我们将我们的方法视为同一类指数族的重新参数化分布的最大似然估计,并证明我们的估计器可以解释为最小化特定的 Bregman 得分以及最小化代理似然的实例。同时,我们还提供了有限样本保证,以在参数估计中实现误差(在ℓ₂范数中)为 α,样本复杂度为 O (poly (k)/α²)。当定制为节点稀疏马尔可夫随机场时,我们的方法实现了 O (log (k)/α²) 的优化样本复杂度。最后,我们通过数值实验展示了我们估计器的性能。
Sep, 2023
本文提出了一种自然指数分布家族 - 多项式指数分布家族, 对于这个家族的分布进行最大似然和得分匹配的比较研究,揭示得分匹配的损失函数可以通过计算复杂度低的优化方法进行计算,且在统计效率上与最大似然方法相当,而最大似然损失函数是无法通过基于梯度的方法进行优化的。
Jun, 2023
本文提出了一种新的学习 ABC 统计量的方法 - 使用 Score Matching 培训神经条件指数族,以近似似然函数;将该似然函数插入 MCMC 中进行采样,可以在不需要更多模型模拟的情况下重复此过程,效果与相关方法相当。
Dec, 2020
本文提出了一种基于随机游走的网络表征学习技术,使用指数族分布来捕捉节点之间的丰富交互模式,并研究了该模型的三个具体实例,实验结果表明该技术在两个下游机器学习任务中胜过基线方法。
Nov, 2019
该文章介绍了将指数族扩展应用于多视角学习方法中,它基于 EPCA 的矩阵分解,以指数族的自然参数表示,同时提出了一种新的可用于所有因子分解的先验分布族,并演示了当高斯分布假设不成立时它的优越性。
Mar, 2012
通过本文,我们研究并证明了一种简化的通信高效分布式学习框架,它利用数据子集计算本地最大似然估计量,并结合本地估计值实现对全局 MLE 的最佳近似,并证明了该框架的统计性质与误差率性质。我们还研究了使用 KL 散度方法与更常见的线性组合方法组合本地 MLE 的经验性能,并表明 KL 方法在实际设置中比线性组合方法更为优越,可解决模型错误、非凸性和异构数据分区等问题。
Oct, 2014
该论文研究了概率图模型中精确实现推断和学习的条件,并开发出相应的算法,通过展示各种示例模型的应用,最终展示了如何将这些模型组合成可处理的概率图模型。
Apr, 2024
提供了一种通过学习深度网络参数化的核函数来建模复杂结构的密度模型方法,相较于利用最大似然拟合的深度密度模型,虽然前者可能会得到更高似然度,但后者提供了更好描述分布形状的对数密度梯度得到更好的估计,二者有不同的优缺点。
Nov, 2018
该研究提出了一种基于图信号处理 (GSP) 框架的图学习方法,可以从平滑图信号到指数族噪声分布的各种数据类型对其进行建模,并通过交替算法估计图拉普拉斯和未观测到的平滑表示来处理图机器学习中的常见挑战,其性能优于其他方法。
Jun, 2023
提出了一个针对贝叶斯模型学习者的最优教学框架,旨在平衡学习者未来损失和教师努力的优化问题,此优化问题在一般情况下很难,但在学习者使用共轭指数族模型的情况下,提出一种近似算法来找到最优教学集,该算法优化了聚合充分统计数据,然后将其解包成实际的教学示例,给出了几个例子来说明该框架。
Jun, 2013