Mar, 2024

张量网络约束核机器作为高斯过程

PDF
TL;DR张量网络（Tensor Networks）被用于通过限制模型权重来加速核机器，在概率参数上置于 i.i.d. 先验下，我们证明了规范多项分解（CPD）和张量列车（TT）约束的核机器的输出可以恢复到一个完全特征化的高斯过程（Gaussian Process）。我们分析了 CPD 和 TT 约束模型的收敛性，并通过数值实验观察到 TT 相对于 CPD 在相同模型参数数量下表现出更多的高斯过程特性。从而，我们建立了张量网络约束的核机器和高斯过程之间的联系。
发现论文，激发创造
  • 利用树形张量网络、CP 秩约束和张量 Dropout 进行机器学习

    本文介绍如何将带有 CP 秩约束和张量丢弃功能的树张量网络应用于机器学习中，该方法在 Fashion-MNIST 图像分类中优于其他基于张量网络的方法，且分类器的参数数量可以减少并更灵活地进行控制。

    May, 2023

  • 使用张量网络为高斯过程回归投影基函数

    本文提出了一种使用张量网络进行近似高斯过程（GP）回归的方法，通过选择合适的低秩张量网络子空间并利用贝叶斯推断来推导模型权重，并在较小子空间内进行高效计算，以解决逆动力学问题。

    Oct, 2023

  • 使用张量列车分解实现数十亿个诱导输入的可扩展高斯过程

    利用张量列车分解为变分参数的高斯过程建模方法，实现具有数十亿个输入点培训和端到端训练的深度神经网络和高斯过程回归 / 分类器的最新结果优化。

    Oct, 2017

  • 树张量网络用于生成建模

    本论文介绍了一种树张量网络 (TTN)，并将其应用于基于生成式建模的自然图像数据集以提高其可解释性，在 MNIST 数据集的表现中也获得更好的对数似然度得分。

    Jan, 2019

  • 张量网络与微分编程时代的概率推理

    提出了基于张量网络的概率图模型推理任务解决方法，包括计算配分函数、计算模型中变量集的边缘概率、确定变量集的最可能赋值以及根据不同变量集边缘化后确定最可能赋值，并通过与量子技术的集成得到了明显的改进。

    May, 2024

  • 共享权重的宽神经网络的缩放极限：高斯过程行为、梯度独立性和神经切向核导出

    本研究结合随机神经网络和张量程序的概念，研究了神经网络的收敛性和梯度动态性，在多种不同体系下，从而表明了该框架不仅可以引导更强的高斯过程的设计，而且还可以深入理解现代架构中的 SGD 动态。

    Feb, 2019

  • 浅层和深层高斯过程

    该研究提出了一种新的方法，称为 Thin and Deep GP (TDGP)，它通过定义原始输入数据的局部线性变换来保持潜在嵌入的概念，并保留核函数的长度尺度的解释性。与先前的方法不同，TDGP 引入的流形可避免路径学习中的特殊病理问题，并且在学习低维表示方面表现出色。在理论和实验结果中证明了 TDGP 在发现输入数据的低维流形、增加层数时的良好性能以及在标准基准数据集上的表现。

    Oct, 2023

  • 基于图神经网络的高斯过程半监督学习核函数

    本文介绍了如何将图神经网络中的归纳偏置引入高斯过程中，以优化其在图结构数据上的预测表现，并得出了一些有趣的成员和提出了一种适用于大规模数据后验推断的协方差矩阵的近似方法，通过这些基于图的协方差矩阵，与相应的图神经网络相比，具有相似的分类和回归性能以及计算时间上的优势。

    Feb, 2023

  • 广义规范多重张量分解

    该论文发展了一种广义的低秩张量分解（GCP），使其可以适用于二进制或计数数据，其中除了平方误差损失函数外，还可以使用逻辑损失或 Kullback-Leibler 散度损失函数，我们提供了基于统计动机的多种损失函数，为计算梯度和处理缺失数据提供了广义框架，从而可以使用标准优化方法来拟合模型，在社交网络，老鼠的神经活动和印度的月降雨数据等几个真实世界的例子中展示了 GCP 的灵活性。

    Aug, 2018

  • 深度转换高斯过程

    通过变换样本中的联合分布，Deep Transformed Gaussian Processes（DTGPs）构建了多层模型，每一层都是转换高斯过程，增加了模型的灵活性和可扩展性。通过使用变分推断来近似计算，该方法扩展了 DSVI 推断算法，实验证明在多个回归数据集上取得了良好的性能。

    Oct, 2023