通过随机化扩展结构化推理能力

Dec, 2021

Scaling Structured Inference with Randomization

Yao Fu, Mirella Lapata

TL;DR介绍了一种基于随机动态规划算法（RDP）的框架，可将计算状态扩展到成千上万个潜在状态，同时保持较低的偏差和方差，并且适用于多种不同的图结构和自动微分；同时，利用 RDP 训练结构化变分自编码器并在推理网络上扩展，获得了比基线更好的测试似然性和成功避免后验崩溃。

Abstract

The scale of the state space of discrete graphical models is crucial for model capacity in the era of deep learning. Existing dynamic programming (DP) based inference typically works with a small number of states (usually less than hundreds). In this work, we propose a family of random

发现论文，激发创造

铰链损失马尔可夫随机场: 结构化预测的凸推理

本文介绍了使用 hinge-loss Markov 随机场图模型进行结构化预测的方法，包括适用于 HL-MRFs 的可扩展的推理算法和几种学习算法，并证明了该方法在四个应用领域中能够与离散模型相媲美或更好的预测性能。

Sep, 2013

现代推理技术在结构离散能量最小化问题中的比较研究

该研究比较了32种现代化的最优化技术在计算机视觉中的应用，结果表明，与之前研究不同，多面体方法与整数规划解决方案在运行时间和解决方案质量方面在大范围的模型类型上具有竞争力。

Apr, 2014

结构化预测的局部扰动-MAP算法

本文介绍了一种新的局部扰动-最大后验(Local Perturb-and-MAP, locPMAP)框架，通过利用我们观察到的locPMAP与原始CRF模型的伪似然函数之间的关系，将全局优化替换为局部优化，从而取代了CRFs在学习和推断步骤中的常用的近似技术。在三个不同的视觉任务中测试我们的方法，并展示了我们的方法优于其他优化到伪似然目标的近似推断技术，此外，我们展示可以将我们的方法整合到完全卷积网络框架中，以增加模型的复杂性并证明locPMAP和伪似然之间的关系为理解和使用伪似然提供了一种新的视角。

May, 2016

非线性状态空间模型的结构化推理网络

本研究提出了一种统一算法，以高效学习一类广泛的线性和非线性状态空间模型为主，包括由深度神经网络建模的发射和转移分布，使用结构化变分逼近参数化的循环神经网络来模拟后验分布，同时学习编译的推理网络和生成模型。通过应用于合成和真实数据集，本算法展现了其可扩展性和通用性，并发现使用结构化的后验近似会导致具有显著更高留存的可能性的模型。

Sep, 2016

结构化预测与注意力的可微分动态规划

本文提出了一种新的方法，在动态规划算法的递归过程中使用强凸正则化器平滑极大算子，以使一类DP算法变得可微分，从而解决DP算法在神经网络中无法使用反向传播训练的问题，同时实例化了两个平滑算法，并在结构化预测任务和神经机器翻译中测试了其性能。

Feb, 2018

借助稀疏潜在结构实现动态计算图

本篇研究介绍了一种使用SparseMAP inference进行训练的方式，可以在维持可区分性的同时，实现从全局潜在结构建立不受限制的动态计算图，从而助力于深度神经网络建模的训练。

Sep, 2018

自动结构化变分推断

介绍了一种用于构建结构化变分族的自动化方法。这些凸优化族可以捕获复杂的统计依赖关系，并可用于一个非常大的模型族，包括连续和离散变量。通过在 TensorFlow Probability 中提供 ASVI 的开源实现，发现其表现较其他主流方法更佳。

Feb, 2020

关系推理的动态图先验

本文提出了一种名为DYGR的动态图先验方法，通过高次非局部多项式滤波器中的误差放大来构造良好的图学习梯度，实现了关系推理，并在科学机器学习中表现出了异常的鲁棒性。

Jun, 2023

基于深度高斯马尔科夫随机场的图结构动态系统

该论文提出了一种基于图结构状态空间模型的概率推理方法，利用深度学习和高斯马尔可夫随机场的有原则的推理方法，定义简单的空间和时间图层，并通过变分推理从单个时间序列中高效地学习出灵活的时空先验分布，可缩放地采样出闭合的后验。

Jun, 2023

高维回归中的缩放和重标定

用随机矩阵理论和自由概率的基本工具简要推导了多种高维岭回归模型的训练和泛化性能，在物理学和深度学习背景的读者中提供了这些主题的介绍和评论。通过自由概率的$S$变换特性，从代数的几行直接获得训练和泛化误差的解析公式，能够直观地识别模型性能的幂律缩放来源。计算了广义类随机特征模型的泛化误差，发现在所有模型中，$S$变换对应于训练-测试泛化差距，并提供了广义交叉验证估计器的类比。利用这些技术，对具有结构化协变量的非常通用的随机特征模型得到了细粒度的偏差-方差分解。这些新颖结果使我们能够发现随机特征模型的缩放区域，在超参数设置中特征的方差限制了性能。我们还演示了随机特征模型中异向权重结构如何限制性能，并导致超参数设置中有限宽度修正的非平凡指数。我们的结果扩展并提供了对早期神经缩放定律模型的统一视角。

May, 2024