本文提出了一种新的参数估计技术,该技术无需计算不可处理的归一化因子或从模型的平衡分布中采样,通过建立动态算法将观测到的数据分布转化为模型分布,并通过使得数据分布与运行该动态算法的分布的 KL 散度最小化来进行优化,在 Ising 模型等情况下展示比当前先进技术更快的学习效率和更低的误差。
Jun, 2009
本文提出了针对无向模型的黑盒学习和推理算法,通过使用变分逼近模型 log-likelihood 的上界优化算法,其中重要的是由灵活神经网络表达的 log-partition 参数化函数上界。我们的算法可加速采样,训练广泛类别的混合有向 / 无向模型,并在多个流行生成建模数据集上验证了其有效性。
Nov, 2017
本文介绍了一种基于指数域的分布的凸组合的对数划分函数的新的上界类型,适用于任何无向图模型,特别是树形结构分布的凸组合。该方法有唯一全局最小值,可以用于原模型的边际估计。此方法与更高的 treewidth 的结构相关联,从而与更高级的近似方法相关。
Dec, 2012
本文提出了一种新的基于贝叶斯近似推断的方法,用于学习高斯图模型的依赖结构,通过伪似然方法,无需引入有关可分解性的任何假设即可得到近似边缘似然值,结合简单的稀疏性先验和默认的参考 prior,得到了一个快速适用于高维数据的评估函数,本方法与其他方法的比较表明其性能良好并且能够一致地估计图结构。
Feb, 2016
本文介绍了一种通过子图近似方案,在减小同步开销、降低内存占用的同时,解决分布式训练非独立同分布图形数据(如图卷积网络)中信息丢失与准确性问题的训练策略。
Dec, 2020
本文研究直接拟合参数以最大化预测边际准确性度量的方法,该方法考虑训练时间模型和推理近似。对成像问题的实验表明,边际化学习在拟合的模型近似的困难问题上比似然近似表现更好。
Jan, 2013
本文提出了一种新的方法,采用自我训练的方式来处理部分标签数据,其中采用了基于最大无穷范数的伪标签技术来自动实现基准标签的分类,并通过使用简单的二次规划方法进行拟合优化。通过在自制和真实世界数据集上的测试,证明了所提出的方法比现有的部分标签学习方法更加有效。
Feb, 2019
使用加入 l1-norm 惩罚项的最大似然问题的解决办法来估计高斯或二元分布参数,以得到稀疏的无向图模型,并利用块坐标下降和 Nesterov's 一阶法等算法将复杂度限制在可接受范围内。
Jul, 2007
提出了一种高度有效的算法,该算法能够学习近似于分段多项式密度函数的单变量概率分布,并应用于密度估计问题,涉及混合对数凹分布、混合 $t$ 峰态分布、混合单峰风险率分布、混合二项式泊松分布、混合高斯分布和混合 $k$ 单调密度等问题。
May, 2013
本文比较了两种不同的统计语言模型估计方式,发现通过最大化完全观测训练数据的 (联合) 似然来估计的模型优于通过最大化训练数据的条件似然来估计的模型。
May, 2001