张量网络与微分编程时代的概率推理

May, 2024

张量网络与微分编程时代的概率推理

Probabilistic Inference in the Era of Tensor Networks and Differential Programming

Martin Roa-Villescas, Xuanzhao Gao, Sander Stuijk, Henk Corporaal, Jin-Guo Liu

TL;DR提出了基于张量网络的概率图模型推理任务解决方法，包括计算配分函数、计算模型中变量集的边缘概率、确定变量集的最可能赋值以及根据不同变量集边缘化后确定最可能赋值，并通过与量子技术的集成得到了明显的改进。

Abstract

probabilistic inference is a fundamental task in modern machine learning. Recent advances in tensor network (TN) contraction algorithms have enabled the development of better exact inference methods. However, many common inference tasks in →

probabilistic inference tensor networks probabilistic graphical models inference tasks quantum technologies

发现论文，激发创造

基于图神经网络的概率图模型推理

使用图神经网络作为一种有利于推断任务的推送算法，对于在循环密集的概率有向图上显著优于置信传播算法

Mar, 2018

概率编程的功能张量

通过引入 “functional tensors” 这一概念，将现代自动微分框架的通用概念扩展为连续概率分布，并实现广义变量消除和并行扫描滤波算法，从而实现了一种广泛适用的概率编程系统，被应用于 Pyro 编程语言中，可以实现包括精确和近似推断在内的多种推断策略。

Oct, 2019

张量网络约束核机器作为高斯过程

张量网络（Tensor Networks）被用于通过限制模型权重来加速核机器，在概率参数上置于 i.i.d. 先验下，我们证明了规范多项分解（CPD）和张量列车（TT）约束的核机器的输出可以恢复到一个完全特征化的高斯过程（Gaussian Process）。我们分析了 CPD 和 TT 约束模型的收敛性，并通过数值实验观察到 TT 相对于 CPD 在相同模型参数数量下表现出更多的高斯过程特性。从而，我们建立了张量网络约束的核机器和高斯过程之间的联系。

Mar, 2024

用于可解释和高效的量子启发式机器学习的张量网络

用张量网络作为数学工具，基于量子信息和多体物理等理论实现了机器学习，提高了可解释性和效率，并预示了将来发展的 “量子人工智能” 方向。

Nov, 2023

通过概率生成函数的离散模型精确贝叶斯推断：一种概率编程方法

We introduce an exact Bayesian inference method for discrete statistical models, using a probabilistic programming language that supports both discrete and continuous sampling, and probability generating functions to compute posterior probabilities, expectation, variance, and higher moments automatically and with competitive performance.

May, 2023

推论编译和通用概率编程

该研究介绍了一种使用深度神经网络在概率编程模型中分摊推断成本的方法，并将深度学习与概率编程方法的优势相结合。这种名为 “编译推断” 的方法将用通用编程语言编写的概率程序的语义规范转换为用神经网络规范语言表示的训练过的神经网络，从而实现了原始模型的近似推断。

Oct, 2016

使用张量网络为高斯过程回归投影基函数

本文提出了一种使用张量网络进行近似高斯过程（GP）回归的方法，通过选择合适的低秩张量网络子空间并利用贝叶斯推断来推导模型权重，并在较小子空间内进行高效计算，以解决逆动力学问题。

Oct, 2023

概率编程中的自动变分推断

本研究提出了一种新算法，基于随机梯度的变分程序来进行概率编程中的近似推理，特别适用于高度结构化的分布。我们展示了如何自动推导平均场概率程序并优化它们，并证明我们的方法比其他算法提高了推理效率。

Jan, 2013

张量混合模型

使用张量分析概念衍生出可追踪边缘的张量混合模型，其简单的卷积神经网络结构有助于设计和实现到央视并能有效地表现丰富的分布，以达到在缺失数据下的分类。

Oct, 2016

标准模型之外的物理研究中高效的概率推理

提出一种新型的概率编程框架，通过跨平台的概率执行协议直接连接到现有的大规模模拟器，允许通用推理引擎以语言无关的方式记录和控制模拟器内的随机数，并通过后验推断的高度可解释性来演示其技术应用于粒子物理学，提升推断效率。

Jul, 2018