May, 2022

基于 GAT 的 CRF 的 Mean Field 推理

PDF
TL;DR本研究提出一种改进的均值场推断算法，将信息传递操作从原始线性卷积改变为现有的图形注意力操作，并将推断算法的处理过程转化为 GAT 模型的前向过程，结合均值场推断的标签分布，等价于只有一元潜力的分类器输出。为此，我们提出了一种具有残差结构的图形注意力网络模型，该模型适用于所有序列注释任务，如像素级图像语义分割任务以及文本注释任务。
mean-field inferencepaired crfsgraph attention networkresidual structuresequence annotation
发现论文，激发创造
  • 具高斯边缘势的全连接 CRF 的高效推理

    本文提出了一种基于高斯核线性组合的高效近似推理算法，用于在完整的像素集上定义的全连接 CRF 模型的密集像素级连接，为多类图像分割和标注技术提供了显著的改进。

    Oct, 2012

  • 平均场网络

    本文针对平均场算法在应对不可精确推断的图模型中的广泛使用进行研究，并将该算法转化为具有多层结构和绑定权重的前向网络以进行一些自然的扩展，包括权重不绑定和 MFNs 作为推理工具和判别模型，最终的实验结果表明，在作为判别模型时，MFNs 可以比平均场算法更有效地进行推理并具有更好的性能。

    Oct, 2014

  • AIN：具有近似推断网络的快速准确的序列标注

    本文介绍了一种基于并行化的近似变分推断算法，用于提高线性链条件随机场模型的训练和预测速度，并将其设计成可连接编码器的端到端网络，在长句子情况下，该方法在准确率不降的情况下将解码速度提高了 12.7 倍。

    Sep, 2020

  • 一种允许端对端训练任意成对势函数的 CRF 推理的投影梯度下降方法

    通过开发新的推理和学习框架，挑战当前视觉社区流行的基于高斯势函数的条件随机场模型，该框架可以通过梯度下降来学习成对的条件随机场势函数，可以考虑标准的空间和高维双边核，可用于深度神经网络中端到端地训练以提高语义分割的准确性。

    Jan, 2017

  • 卷积条件随机场用于语义分割

    该论文介绍了如何在全连接 CRFs 中添加条件独立假设，从而利用卷积重构推理，提高了推理和训练的速度，并可以通过反向传播轻松优化卷积 CRFs 的所有参数，以便于后续的 CRF 研究。

    May, 2018

  • 基于深度高斯条件随机场的语义图像分割快速、准确、多尺度推理

    本文提出了一种结构化预测技术，其将高斯条件随机场与深度学习相结合，能够在保证唯一全局最优解的同时，使用精简的闭式表达式计算模型参数的梯度。通过在语义分割任务中引入多分辨率结构化优化框架，该系统在 PASCAL 2012 图像分割基准上显示出明显的改进。

    Mar, 2016

  • 图神经网络在图划分中的平均场理论

    研究了图神经网络的理论性能分析，证明了其在分类任务中灵活性优势高于贝叶斯推断，并探讨了其高精度性能是由反向传播还是架构本身引起的问题。采用最小化图划分问题的平均场理论，证明了数值实验的良好一致性。

    Oct, 2018

  • 消息传递推理中的深度学习

    本文提出了一种新的有效的深层结构模型学习方法，使用卷积神经网络估计条件随机场中的信息以进行结构化预测，并在语义图像分割任务中获得了最佳结果。

    Jun, 2015

  • 条件随机场作为循环神经网络

    介绍了一种名为 CRF-RNN 的新型卷积神经网络，该网络将卷积神经网络（CNN）和基于 CRFs 的概率图建模相结合，用于语义图像分割任务，结果在 Pascal VOC 2012 分割基准测试上获得了最好的结果。

    Feb, 2015

  • 基于图神经网络的概率图模型推理

    使用图神经网络作为一种有利于推断任务的推送算法，对于在循环密集的概率有向图上显著优于置信传播算法

    Mar, 2018