基于矩阵积态的生成模型分布式预训练

Jun, 2023

基于矩阵积态的生成模型分布式预训练

Distributive Pre-Training of Generative Modeling Using Matrix-Product States

Sheng-Hsuan Lin, Olivier Kuijpers, Sebastian Peterhansl, Frank Pollmann

TL;DR本文提出了一种以基础张量网络操作 (例如求和和压缩) 为特征的训练模型算法，主要应用于机器学习中的 MNIST 数据集，结果表明该算法具有合理的生成新图像和分类任务的能力，并解释其作为压缩量子核密度估计的算法实现。

Abstract

tensor networks have recently found applications in machine learning for both supervised learning and unsupervised learning. The most common approaches for training these models are gradient descent methods. In t

tensor networks machine learning training algorithm compression mnist dataset

发现论文，激发创造

使用矩阵乘积状态进行无监督生成建模

提出了一个使用矩阵乘积状态的基于概率论解释的生成模型，可以进行直接采样和动态调整张量尺寸，适用于无监督机器学习领域。

Sep, 2017

量子启发张量网络的监督学习

本研究探讨了如何使用张量网络来优化矩阵积态，以用于分类图像的模型参数化，且在 MNIST 数据集上取得了不到 1% 的测试集分类误差。此外，我们讨论了张量网络形式如何为学习模型提供附加结构，并提出了可能的生成性解释。

May, 2016

张量网络的连续数据生成学习

我们引入了一种能够学习含有连续随机变量的分布的新型张量网络生成模型，首先在矩阵乘积态的背景下推导出通用表达能力定理，证明了该模型家族能够以任意精度逼近任何充分平滑的概率密度函数；然后在几个合成和真实世界数据集上对该模型的性能进行基准测试，发现该模型在连续和离散变量的分布上学习和泛化良好；我们还开发了建模不同数据领域的方法，并引入了一个可训练的压缩层，发现在有限的内存或计算资源下，该层能够提高模型的性能。总体而言，我们的方法为量子启发式方法在生成学习这个快速发展领域的有效性提供了重要的理论和实证证据。

Oct, 2023

将机器学习与量子张量网络相结合

本文研究了张量网络在语言建模中的应用，通过对模拟 Motzkin 自旋链的问题进行抽象，发现张量模型具有接近完美的分类能力，并在训练样本减少时保持稳定的性能水平。

Jan, 2024

树张量网络用于生成建模

本论文介绍了一种树张量网络 (TTN)，并将其应用于基于生成式建模的自然图像数据集以提高其可解释性，在 MNIST 数据集的表现中也获得更好的对数似然度得分。

Jan, 2019

从人工神经网络中推出广义传输矩阵状态

提出并研究了一种名为广义转移矩阵状态（GTMS）的新型量子态，桥接了深度人工神经网络的两种方法，GTMS 包含了通用矩阵积态，并能够捕捉超越张量网络区域定律纠缠性质的更多长程量子关联。通过数值模拟和显式例子，表明 GTMS 是研究临界和动力学量子多体系统的有前途的候选方案。

Aug, 2018

张量网络：矩阵乘积状态和投影纠缠对态的实用入门

介绍了张量网络方法的一些主要话题和研究领域，其中涉及数值方法，MPS 和 PEPS 等内容，特别是在一维和二维量子晶格系统的方面。

Jun, 2013

大数据分析和大规模优化问题的张量网络

本文探讨了基本的张量网络模型和相关算法，尤其是使用新的数学和图形表示的张量列车（TT）分解。通过张量化和使用量子化张量列车网络实现数据的超级压缩，对大规模数据优化问题进行了分布式表示，并通过优化迭代和近似张量缩并的方式，应用小型矩阵和张量运算来解决一系列难以用经典数值方法解决的问题，例如广义特征值分解，主成分分析 / 奇异值分解和规范相关分析。

Jul, 2014

使用张量网络实现量子机器学习

本文提出一种基于张量网络的量子计算方法，用于解决当前在量子计算中机器学习所面临的挑战。在此方法下，经典计算和量子计算可共享同样的理论和算法基础，且张量网络电路在量子计算机模型的训练中具有高效节省的优势，并通过对手写识别模型的数值实验验证了其可行性。

Mar, 2018

共同训练张量网络

使用一种新颖的张量网络 —— 约束矩阵积态（MPS），将任意线性约束准确地融入稀疏块结构，成功地弥合了 U (1) 对称 MPS 和传统非约束 MPS 之间的差距。通过量子区域的概念，适用于捕捉包括非约束情景在内的任意线性约束，我们进一步为这些新的 MPS 开发了规范形式，允许根据量子区域融合规则合并和分解张量块。利用这种规范形式，我们采用无监督训练策略来优化满足线性约束的任意代价函数，从而解决二次背包问题，并展示了相对于传统非线性整数规划求解器具有更高性能的优势，突显了我们方法在解决复杂约束组合优化问题中的潜力。

May, 2024