通用图形模型的隐变量结构化预测效率
本文提出了边际结构化支持向量机(MSSVM)来进行具有隐藏变量的结构化预测,与其他最先进的方法相比,特别是当不确定性很大时,MSSVM 可以更好地解释隐藏变量的不确定性,并且导致更平滑的目标函数,使梯度下降方法更快地收敛。我们还展示了这种方法如何在模拟和实际数据集上优于其他方法,包括潜在结构化 SVM(LSSVM)和隐藏条件随机场(HCRFs)。此外,我们提出了一个统一框架,将我们的方法与其他现有方法作为特例,以提供对不同模型在实践中的比较的见解。
Sep, 2014
提出了一种基于预测信念传播的新型学习和推断算法,对于一般潜变量图模型,算法将硬参数学习问题简化为一系列监督学习问题,并将学习不同种类的潜变量图模型统一到一个局部最优、统计一致的学习框架中,此算法在合成和真实数据集上显著优于前人方法,也更快地计算。
Dec, 2017
本文提出了一种新的框架来学习具有所需结构属性的多元数据的可控和通用表示,该模型利用图模型中的掩码变量表示归纳偏置,并扩展多元信息瓶颈理论来强制执行结构依赖性,从而提供原则性方法来学习一组语义上有意义的潜在因素,其反映了各种类型的期望结构,如捕获相关性或编码不变性。同时还提供了自动估计数据中依赖关系的灵活性,该框架统一了许多现有的生成模型,并可应用于各种任务,包括多模态数据建模、算法公平性和不变风险最小化。
Jul, 2020
本篇研究介绍了一种使用 SparseMAP inference 进行训练的方式,可以在维持可区分性的同时,实现从全局潜在结构建立不受限制的动态计算图,从而助力于深度神经网络建模的训练。
Sep, 2018
本文介绍了一个用于重叠的全局特征的无监督学习结构化预测的框架,提出了一个基于特征丰富的条件随机场对可观察数据进行条件预测的潜在表示方法,并使用具有封闭形式的最大似然估计的模型来(重新)生成输入的重建,使得无需进行不切实际的独立性假设或限制可用特征类型的情况下能够有效地进行学习,并示范了与传统自动编码器、后验正则化和多视图学习方面的有见地的联系。接着将模型实例化应用于两个经典的自然语言处理任务:词性归纳和比对文本词汇对应,并证明训练我们的模型可以比可比的特征丰富基线方法更加高效。
Nov, 2014
研究了隐变量图模型中的结构估计问题,提出了一种计算高效且保证正确性的方法,并应用于局部树状结构的模型及相关衰减的模型,特别地,对于伊辛模型,该方法能与采样要求的下界接近。
Mar, 2012
本文提出了变分贝叶斯 (Variational Bayes) 框架,通过解决概率图模型中潜在变量及其结构计算的问题,避免了因参数而导致过拟合和子最优泛化表现的通常方法,同时证明了该算法能成功应用于无监督聚类、盲源分离等模型。
Jan, 2013
提出了一种将概率图模型和深度学习相结合的模型框架,通过将神经网络用于观测模型,提高了潜在变量的图形结构;针对推断,使用了可视化的自编码器,利用识别网络输出共轭潜力的图形模型近似分布;所有的这些模型组件都是同时学习的,从而得到了一种可扩展的算法,利用了随机变分推断、自然梯度、图形模型信息传递和重参数化技巧。此模型框架的示例模型和应用程序向小鼠行为表型学方法提出了有效的解决方案。
Mar, 2016