本文提出了一种基于张量网络的压缩算法，能够显著地降低神经网络的参数量，从而提高其压缩效果和泛化性能。实验证明，该算法可将包含上千万参数的 VGG-16 模型的卷积层压缩为仅包含 632 个参数的张量网络，同时提升在 CIFAR-10 数据集上的测试准确率。该算法可被看作是一种高效的神经网络参数压缩方案，能够充分挖掘神经网络的可压缩性。

May, 2023

引入张量神经网络（TNN）来处理非参数回归问题，通过其独特的子网络结构，有效地促进变量分离，从而提高复杂未知函数的近似性；与传统的前馈网络（FFN）和径向基网络（RBN）相比，TNN 在近似准确性和泛化能力方面表现优异，尽管参数规模相似；我们的方法的一个关键创新是将统计回归和数值积分集成到 TNN 框架中，从而实现了与回归函数相关的高维积分的高效计算；此进展的意义扩展到更广泛的应用领域，特别是在需要精确高维数据分析和预测的场景。

Jun, 2024

张量神经网络 (TNNs) 结合了多线性代数和深度学习的成果，能够实现高维问题的高效降维模型。本文描述了一种将多个 TNNs 融合成一个更大网络的深度神经网络架构，旨在解决比单个 TNN 更广泛的问题类别。作者在具有三个独立变量和三个参数的参数型 PDE 上评估了该架构，其中三个参数分别对应一个 PDE 系数和描述域几何的两个量。STNN 在参数范围内提供了准确的降维解描述，并显示出对训练数据之外的参数值有意义的泛化证据。最后，尽管 STNN 架构相对简单且不依赖具体问题，但它可通过正则化来融合特定问题的特征，如对称性和物理建模假设。

Dec, 2023

该研究提出了一种具有突破性的方法，通过对卷积神经网络中的密集层进行张量化，来减小模型大小和计算时间，同时结合注意力层和对比自监督学习训练以有效分类云信息，从而能够准确进行天气预测。

Mar, 2024

本文介绍了张量网络及其运算的简介并侧重于介绍用于数据 / 参数的超压缩高阶表示的张量网络模型及其应用， 包括支持张量机、求广义特征值、深度神经网络等优化问题的张量分解方法，如张量列车和分层 Tuck 分解，并通过图形方法以及基于核张量的低秩张量近似来解释张量网络是如何能够在大量数据上执行分布式计算的。

Aug, 2017

本文探讨了基本的张量网络模型和相关算法，尤其是使用新的数学和图形表示的张量列车（TT）分解。通过张量化和使用量子化张量列车网络实现数据的超级压缩，对大规模数据优化问题进行了分布式表示，并通过优化迭代和近似张量缩并的方式，应用小型矩阵和张量运算来解决一系列难以用经典数值方法解决的问题，例如广义特征值分解，主成分分析 / 奇异值分解和规范相关分析。

Jul, 2014

本文提出了适用于任意网络架构的可扩展张量网络（STN），通过一种数据驱动的方法动态和自适应地调整模型大小和分解结构，从而达到更高的压缩性能和灵活性，综合实验结果表明其在参数效率方面表现优异。

May, 2022

该研究论文综述了六种张量分解方法及其在神经网络中的应用，说明使用这些方法可以明显地减少模型的大小，运行时间和能耗，在边缘设备上实现神经网络时效果显著。

Apr, 2023

在这项研究中，我们从压缩的角度提出了一系列直观，数据相关且易于测量的属性，紧密地刻画了神经网络的可压缩性和通用性，进而提供了进一步设计具有更好 / 保证通用性属性的神经网络架构的见解。

Jan, 2020

建立在神经切向核 (NTK) 和随机矩阵理论 (RMT) 的最新进展之上，我们提供了一种创新的压缩方法用于宽且全连接的深度神经网络，实现 “无损” 压缩，即压缩后的网络在渐近意义下与原始网络具有相同的 NTK，权重和激活只取值于 {0, ±1}。

Mar, 2024