基于张量网络分解的概率建模表现力研究 - 从隐马尔科夫模型到量子机器学习的应用

Jul, 2019

基于张量网络分解的概率建模表现力研究 - 从隐马尔科夫模型到量子机器学习的应用

Expressive power of tensor-network factorizations for probabilistic modeling, with applications from hidden Markov models to quantum machine learning

PDF

Ivan Glasser, Ryan Sweke, Nicola Pancotti, Jens Eisert, J. Ignacio Cirac

TL;DR该论文研究了张量网络在离散多元概率分布建模中的表达能力，并针对使用不同类型的张量带来的参数数量和效率变化进行了严格分析，发现局部纯净态表示法的表达能力优于其他表示法。

Abstract

tensor-network techniques have enjoyed outstanding success in physics, and have recently attracted attention in machine learning, both as a tool for the formulation of new learning algorithms and for enhancing th

tensor-network techniques machine learning probabilistic graphical models tensor-network factorizations locally purified states

发现论文，激发创造

将机器学习与量子张量网络相结合

本文研究了张量网络在语言建模中的应用，通过对模拟 Motzkin 自旋链的问题进行抽象，发现张量模型具有接近完美的分类能力，并在训练样本减少时保持稳定的性能水平。

Jan, 2024

分布式柔性非线性张量分解

本文提出了一种分布式、灵活的非线性张量分解模型，通过可避免昂贵的计算以及提供高质量推理的上限，它能够克服传统张量分解模型中的限制，并展现出在 CTR 预测方面的巨大潜力。

Apr, 2016

共同训练张量网络

使用一种新颖的张量网络 —— 约束矩阵积态（MPS），将任意线性约束准确地融入稀疏块结构，成功地弥合了 U (1) 对称 MPS 和传统非约束 MPS 之间的差距。通过量子区域的概念，适用于捕捉包括非约束情景在内的任意线性约束，我们进一步为这些新的 MPS 开发了规范形式，允许根据量子区域融合规则合并和分解张量块。利用这种规范形式，我们采用无监督训练策略来优化满足线性约束的任意代价函数，从而解决二次背包问题，并展示了相对于传统非线性整数规划求解器具有更高性能的优势，突显了我们方法在解决复杂约束组合优化问题中的潜力。

May, 2024

树张量网络用于生成建模

本论文介绍了一种树张量网络 (TTN)，并将其应用于基于生成式建模的自然图像数据集以提高其可解释性，在 MNIST 数据集的表现中也获得更好的对数似然度得分。

Jan, 2019

透明的机器学习在网络安全中的应用

本文展示了张量网络如何帮助发展可解释的机器学习算法，通过基于矩阵乘积态（MPS）的无监督聚类算法在对手生成的威胁情报实际应用中证明 MPS 在性能上能与传统的深度学习模型如自编码器和生成对抗网络相媲美，同时提供更丰富的模型可解释性，我们的方法自然地促进了特征概率、Von Neumann 熵和互信息的提取，为异常分类提供出色剧情并促进了无法理解人工智能决策背后的原理的前所未有的透明性和可解释性。

Dec, 2023

可证明的 Noisy-or 网络学习

本文介绍了如何使用张量分解学习单层嘈杂或网络的方法，并解决了存在系统性误差时如何对张量分解进行分析的问题，这一方法在其他设置中可能有用。

Dec, 2016

张量网络的连续数据生成学习

我们引入了一种能够学习含有连续随机变量的分布的新型张量网络生成模型，首先在矩阵乘积态的背景下推导出通用表达能力定理，证明了该模型家族能够以任意精度逼近任何充分平滑的概率密度函数；然后在几个合成和真实世界数据集上对该模型的性能进行基准测试，发现该模型在连续和离散变量的分布上学习和泛化良好；我们还开发了建模不同数据领域的方法，并引入了一个可训练的压缩层，发现在有限的内存或计算资源下，该层能够提高模型的性能。总体而言，我们的方法为量子启发式方法在生成学习这个快速发展领域的有效性提供了重要的理论和实证证据。

Oct, 2023

条件受限玻尔兹曼机的几何与表现力

本研究讨论了有关有向随机神经网络中条件概率分布的表示能力，证明了其可以用于表示条件马尔可夫随机场和带有限制支持的条件分布，研究了通用逼近器的最小尺寸、最大模型逼近误差以及可表示的条件分布集合的维数等等。我们贡献了新的工具，改进了现有有关有限支持限制玻尔兹曼机概率模型的研究结果。

Feb, 2014

多项式网络和因子分解机：新见解和高效训练算法

本文从统一的视角重新审视了多项式网络和分解机模型，提出了高效训练算法，并将参数学习作为低秩对称张量估计问题进行求解。在回归和推荐系统任务中展示了我们的方法。

Jul, 2016

使用矩阵乘积状态进行无监督生成建模

提出了一个使用矩阵乘积状态的基于概率论解释的生成模型，可以进行直接采样和动态调整张量尺寸，适用于无监督机器学习领域。

Sep, 2017