研究了图神经网络的理论性能分析,证明了其在分类任务中灵活性优势高于贝叶斯推断,并探讨了其高精度性能是由反向传播还是架构本身引起的问题。采用最小化图划分问题的平均场理论,证明了数值实验的良好一致性。
Oct, 2018
本研究提出一种改进的均值场推断算法,将信息传递操作从原始线性卷积改变为现有的图形注意力操作,并将推断算法的处理过程转化为 GAT 模型的前向过程,结合均值场推断的标签分布,等价于只有一元潜力的分类器输出。为此,我们提出了一种具有残差结构的图形注意力网络模型,该模型适用于所有序列注释任务,如像素级图像语义分割任务以及文本注释任务。
May, 2022
本文基于统计力学的思想,发展了一种适用于 Sigmoid 信念网络的均场理论,能够对真实的概率分布进行可追溯的逼近,并提供证据可能性的下限。我们展示了该框架在统计模式识别领域中的实用性,特别是在手写数字分类的基准问题上。
Mar, 1996
本文提出了一种基于近端梯度的方法,用于优化变分目标,该方法天然可并行化且易于实施,证明了其收敛性,并且实践证明其收敛速度更快,并且通常能找到更好的最优解,此外我们的方法对参数选择的敏感性更低。
Nov, 2015
本文介绍了一种基于 Markov 过程的 mean field variational approximation 方法,用于近似描述 Continuous-time Bayesian networks 中的概率分布,并提供了较好的推断和学习效果。
May, 2012
该研究介绍了一种用加权混合分布取代 Mean Field 完全分解的方法,通过这种方式,可以更好地逼近真后验概率,进而提高一些计算机视觉算法的性能。
Nov, 2016
使用在线样本,无需先验知识的状态 - 动作空间、奖励函数或转移动态,通过值函数 (Q) 更新策略,同时评估均场状态 (M),以有效逼近固定点迭代 (FPI) 的两种变种的新型在线单智能体无模型学习方案的功效通过数值实验得到确认。
May, 2024
本文介绍了平均场强化学习方法,通过该方法可以近似处理不同智能体之间的互动,同时开发了多个实际的基于 Q-learning 和 Actor-Critic 的平均场算法模型,并分析了解决纳什均衡的收敛性,在高斯挤压、伊辛模型和博弈游戏等实验中验证了本方法的有效性。同时,作者报告了使用无模型的强化学习方法成功解决了伊辛模型问题。
Feb, 2018
本文探讨了平均场理论在深度度量学习中的应用,提出了两个新的损失函数 MeanFieldContrastive 和 MeanFieldClassWiseMultiSimilarity,发现在三个图像检索数据集中,这些新的损失函数的表现优于传统的基于代理的方法。
Jun, 2023
本文研究了多层感知机中深度与均场预测集中性之间的关系,并提出通过批归一化缓解均场预测中的层间误差放大现象,从而建立了无限深度神经网络的均场预测的集中性界限。