May, 2023

SVDinsTN：一种结合有效结构搜索的张量网络表示综合方法

PDF
TL;DRSVDinsTN 是一种高效的张量网络结构搜索方法，通过为每个边插入对角线因子，同时计算张量网络核和对角线因子，实现了对结构的高效评估，大幅提升了数据分析和机器学习的效率并保持了良好的代表性能。
tensor networkdata analysismachine learningtn-sssvdinstn
发现论文，激发创造
  • STN: 通过结构感知训练和自适应压缩实现可扩展的张量网络

    本文提出了适用于任意网络架构的可扩展张量网络（STN），通过一种数据驱动的方法动态和自适应地调整模型大小和分解结构，从而达到更高的压缩性能和灵活性，综合实验结果表明其在参数效率方面表现优异。

    May, 2022

  • 通过局部采样的张量网络结构排列搜索

    该论文研究了张量网络结构搜索中的一种实际变体，称为 TN 排列搜索（TN-PS），通过提出一种元启发式算法，证明了其计数和度量特性，并降低了计算成本和模型大小。

    Jun, 2022

  • 大数据处理的新方法：张量网络和张量分解

    本研究主要介绍了张量网络、张量分解、多元分析，低秩逼近以及大数据分析等多个方面，并讨论了其在异常检测、特征提取、分类、聚类分析、数据融合和集成、模式识别、预测建模、回归、时间序列分析和多元分析等领域中的潜在应用。

    Mar, 2014

  • 张量环分解

    本文介绍了一种基本的张量分解模型：张量环分解，它能够通过一系列低维张量核的圆形多线性乘积来代表高维张量，并能够实现循环维度置换不变性，同时与 TT 分解具有相似的广泛表示能力。文章通过四种不同的算法对潜在核的优化进行了讨论，并探究了 TR 模型的数学性质。最后，在综合数据集上的实验验证了不同算法的性能。

    Jun, 2016

  • 通过大型语言模型 (LLMs) 探索更有效的张量网络结构搜索算法

    通过利用大型语言模型（LLMs）中嵌入的知识，开发一种名为 GPTN-SS 的方法，它基于演化式的手工制作 LLM 提示系统，可以有效利用现有方法的见解，开发出在探索和开发之间取得更好平衡的新型 TN-SS 算法，并展示了其在高质量 TN 结构的搜索以及自然图像压缩和模型参数压缩方面的优越性能与普适性。

    Feb, 2024

  • Mixed-TD：具有层特定张量分解的高效神经网络加速器

    本文提出了一种基于混合张量分解方法 (Mixed-TD) 将卷积神经网络 (CNN) 映射到 FPGA 上的框架，该方法采用了层特定的奇异值分解 (SVD) 和标准分解 (CPD)，每个 DSP 可以实现与最先进的 CNN 的 1.73x 至 10.29x 的吞吐量。

    Jun, 2023

  • 使用 t-SVD 进行精确张量补全

    本文利用张量奇异值分解求得张量的秩概念 —— 张量管秩，使用具有优化性质的张量核范数最小化的凸优化问题，完成了从有限采样中完成高维数据恢复的任务，并证明了此方法的有效性。

    Feb, 2015

  • 基于 t - 积的随机张量奇异值分解

    本文介绍了一种利用随机矩阵方法扩展张量 SVD 来压缩和分析数据集的方法，相对于 t-SVD，具有更高的计算效率，并提供了该算法的详细说明和数值结果。

    Sep, 2016

  • 随机张量列奇异值分解

    该研究针对层次张量表示，研究了随机矩阵分解方法在高阶张量中的推广，并提出分析了一种用于计算张量拓扑结构的随机算法。

    Oct, 2017

  • 三元奇异值分解作为线性映射中更好的参数化形式

    我们提出了一种简单而新颖的参数化线性映射形式，称为 Ternary SVD（TSVD）。与传统的奇异值分解（SVD）不同，TSVD 限制了 SVD 中的 U 和 V 矩阵为三值矩阵形式（±1，0）。在计算 U（・）和 V（・）时，TSVD 仅需要加法指令，而无需昂贵的乘法指令。我们提供了直接转换算法和训练转换算法的过渡算法（如后训练量化和量化感知训练）。此外，我们理论上分析了直接转换算法的收敛性。在实验证明，TSVD 可以在各种类型的网络和任务中实现最先进的网络压缩性能，包括当前的基线模型，如 ConvNext、Swim、BERT 和大型语言模型 OPT。

    Aug, 2023