- 量化生成模型解决伊辛模型的泛化能力的方法
通过设计一个 Hamming 距离约束器来量化生成模型的泛化能力,本研究对几种常见的神经网络架构(前馈神经网络、递归神经网络和图神经网络)结合变分自回归网络(VAN)的泛化能力进行了数值实验,并发现网络在小规模问题上的泛化能力可以预测其在大 - 消息传递变分自回归网络求解棘手伊辛模型
我们提出了一种具有消息传递机制的变分自回归体系结构,在一个退火框架下进行训练。该网络在解决几个典型的伊辛自旋哈密顿量方面表现优于现有方法,尤其是在低温下的更大自旋系统。我们的方法将无监督神经网络在解决组合优化问题方面推广到了当前的计算限制的 - 学习伊辛模型的统一方法:超越独立性和有界宽度
从数据中有效地学习 Ising 模型的底层参数是我们重新审视的问题。我们展示了一种基于逐节点逻辑回归的简单现有方法在多种新颖环境下能成功地恢复底层模型的参数,包括从本地 Markov 链动态生成的数据、自旋玻璃的 Sherrington-K - 基于球面和双曲面托望拓扑编码的图嵌入中的 Ising MRF 模型:经典和量子拓扑机器学习
该论文介绍了应用信息几何描述伊辛模型的基态,该方法利用环状和准循环码的奇偶检验矩阵,建立了机器学习和纠错编码之间的关联。此方法对于基于陷阱集的新嵌入方法有重要意义。
- ICLR梯度引导的重要性采样用于学习二元能量模型
本研究提出了一种新型比率匹配方法,即借助导数函数构建最佳提议分布,并采用重要性采样实现相应目标,以解决离散能量模型在高维数据中计算量和内存需求过大的难题,实验证明该方法在处理高维数据中比比率匹配更加高效。
- 信念传播神经网络
介绍了一种参数化的运算符 BPNN,它可以操作因子图和广义 BP。通过训练 BPNN,可以比原始的 BP 更好地完成一些复杂的计数问题,并且可以更快地收敛于 Ising 模型。
- MM信念传播快速收敛于全局最优解:超越相关性衰减
研究图模型中 “信念传播” 的收敛性及其在 Ising 模型中的应用。
- 具有任意旋转不变随机耦合矩阵的 Ising 模型 TAP 方程的无记忆动力学
本论文提出了一种迭代算法,用以求解具有任意旋转不变(随机)耦合矩阵的 Ising 模型的 Thouless-Anderson-Palmer (TAP) 方程。我们通过动力学函数方法证明,在热力学极限下,当满足所谓的 de Almeida T - 关于伊辛模型中多项式集中度的注记
本文提出了精确的多层指数集中不等式,其适用于满足 Dobrushin 条件的 Ising 模型中的多项式。此外,我们还证明了凸函数的集中性结果和非负定二次型的估计。
- MM伊辛和高斯模型的两样本结构变化检测下界
研究 Markov 随机场的结构的改变检测问题,针对 Ising 模型和具有网络结构的高斯 Markov 随机场的重要情况,研究了样本大小与可靠性之间的平衡,并获得了在这些模型上进行可靠变化检测的信息论下限。
- 使用乘法权重学习图形模型
给出一种用于学习 Markov 随机场(MRF)或无向图模型的简单的、乘性权重更新算法 ——Sparsitron 算法,特别适用于学习 t 阶 MRFs 结构,并具有近乎最优的样本复杂度和多项式的运行时间。同时,该算法还可以学习 Ising - 马尔科夫随机场的信息论特性及其算法应用
通过建立适当的零和游戏,采用概念上的方法来证明相互信息的下限,进而推广到具有高阶交互作用的任意马尔科夫随机场,从而获得在 n 个节点上学习具有 r 阶相互作用的有界次数图上的马尔科夫随机场的算法,样本复杂度为 log (n),时间复杂度为 - Ising 自旋系统中非平稳动力学的简单分析描述
使用集群变分法的 Diamond 近似方法,在几种 Ising 模型上检查其描述非稳态动力学的有效性,发现其结果与数值求解 Glauber 动力学非常接近。Diamond 近似方法应被认为是 Ising 模型非稳态区域描述的最低标准。
- Ising 模型结构中的广义直接变化估计
本文提出了一种基于原子范数的正则化估计器用于直接估计两个 Ising 模型之间依赖结构的变化,仅需要满足样本复杂度要求的一组样本就可以将变化准确地估计出来,并且估计误差会随着样本数的增加而减小。
- NIPS关于学习伊辛模型的信息论极限
本文提出了一种计算 Ising 模型底层图形恢复的样本复杂性下界的通用框架,其中隔离出两个关键图形结构成分,可以用于指定样本复杂度下界。
- 一个用于真实神经元网络的自旋玻璃模型
本文通过 Ising 模型描述 40 个神经元之间的相关触发活动,发现神经元之间的配对相互作用影响高阶相关性;作者构建神经网络的基础上,增加规模进一步研究其热力学特性和编码能力,并对 2 种与神经编码相关的现象进行深入研究。
- 哪些图形模型难以学习?
我们研究了从独立同分布采样中学习 Ising 模型(成对二元 Markov 随机场)的结构问题。通过分析多个具体例子,我们发现当 Markov 随机场发展为远程相互关系时,具有低复杂度算法的方法的系统性失效。更具体地说,这种现象似乎与 Is - ICML最小概率流学习
本文提出了一种新的参数估计技术,该技术无需计算不可处理的归一化因子或从模型的平衡分布中采样,通过建立动态算法将观测到的数据分布转化为模型分布,并通过使得数据分布与运行该动态算法的分布的 KL 散度最小化来进行优化,在 Ising 模型等情况 - 真实神经元网络的伊辛模型
使用 Ising 模型描述和分析视网膜神经元的相关放电活动,展示二元交互作用可解释观察到的高阶相关性,并研究人工构建的神经元网络在不同规模下的临界点和集体行为。
- 神经元群体中的弱配对相关性意味着强相关网络状态
通过 Ising 模型,我们发现在脊椎动物视网膜和文化皮层神经元网络中,两元素之间的相关性与大群体之间的高阶复杂相互作用描述了神经元的集体行为,证明了神经编码具有联想或纠错功能。