Aug, 2023

三元奇异值分解作为线性映射中更好的参数化形式

PDF
TL;DR我们提出了一种简单而新颖的参数化线性映射形式，称为 Ternary SVD（TSVD）。与传统的奇异值分解（SVD）不同，TSVD 限制了 SVD 中的 U 和 V 矩阵为三值矩阵形式（±1，0）。在计算 U（・）和 V（・）时，TSVD 仅需要加法指令，而无需昂贵的乘法指令。我们提供了直接转换算法和训练转换算法的过渡算法（如后训练量化和量化感知训练）。此外，我们理论上分析了直接转换算法的收敛性。在实验证明，TSVD 可以在各种类型的网络和任务中实现最先进的网络压缩性能，包括当前的基线模型，如 ConvNext、Swim、BERT 和大型语言模型 OPT。
ternary svdnetwork compressionalgorithmnetworksperformance
发现论文，激发创造
  • 基于 t - 积的随机张量奇异值分解

    本文介绍了一种利用随机矩阵方法扩展张量 SVD 来压缩和分析数据集的方法，相对于 t-SVD，具有更高的计算效率，并提供了该算法的详细说明和数值结果。

    Sep, 2016

  • 语言模型加权低秩估计的数值优化

    我们提出了一种加权奇异值分解压缩 Transformer 的语言模型的方法，该方法考虑了神经网络参数的不平等重要性，并解决了没有封闭形式解决方案的非凸优化问题。实验结果表明，相较于传统的 SVD 方法，在压缩 Transformer 的语言模型时，我们的方法可以获得更好的效果。

    Nov, 2022

  • 随机张量列奇异值分解

    该研究针对层次张量表示，研究了随机矩阵分解方法在高阶张量中的推广，并提出分析了一种用于计算张量拓扑结构的随机算法。

    Oct, 2017

  • 通过转换低秩参数化可以为张量神经网络带来鲁棒泛化能力的提升

    探究 Tensor Singular Value Decomposition (t-SVD) 理论上对于 Neural Networks with t-product layers (t-NNs) 的影响，研究发现使用 exact transformed low-rank parameterization 的 t-NNs 能够提高其对于 adversarial generalization 的性能，并且即使 t-NNs 很少有完全 transformed low-rank weights，也可以通过 gradient flow (GF) 的 adversarial training 得到类似的效果，表明 transformed low-rank parameterization 在一定条件下可以提高 t-NNs 的鲁棒泛化性能。

    Mar, 2023

  • 通过高效 SVD 参数化稳定深度神经网络梯度

    本文提出了一种基于奇异值分解（SVD）的转移矩阵参数化方法，通过显式控制奇异值来解决在训练中发生的梯度消失和梯度爆炸问题，该方法在实验中表现出了更快的收敛速度和更好的泛化性能，特别是在捕捉长程依赖关系方面的表现较好。

    Mar, 2018

  • 基于张量 SVD 的多线性数据完备性和去噪新方法

    本研究提出了一种多线性数据完成和去噪的新方法，应用于 3D 和 4D 视频数据的完成和去噪，利用了最近提出的张量奇异值分解（t-SVD）方法，基于 t-SVD，提出了多线性秩和相关张量核范数的概念来表征多线性数据的信息和结构复杂性。在此基础上，我们提出了一个张量核范数惩罚算法，用于从缺失项中完成视频，并且相对于已有方法，该算法表现出更优秀的性能。我们还考虑了从稀疏随机损坏中去噪 3D 视频数据的张量鲁棒主成分分析（PCA）问题，相对于矩阵鲁棒 PCA 的方法，我们的方法表现更优秀。

    Jul, 2014

  • 量子张量奇异值分解及其在推荐系统中的应用

    本文提出了一个第三阶张量的量子奇异值分解算法和一个基于其的推荐系统和张量补全算法，该算法在复杂度方面有指数级优势并且可以根据用户的上下文情况提供变化的推荐。

    Oct, 2019

  • SVD-LLM：大型语言模型压缩的截断感知奇异值分解

    提出了一种新的基于奇异值分解的大型语言模型压缩方法 SVD-LLM，它解决了现有方法的限制，并在高模型压缩比下展现了优越性能。

    Mar, 2024

  • 压缩谱嵌入：避开 SVD

    本文提出一种基于随机投影与有限阶多项式拓展计算奇异值分解嵌入的压缩光谱嵌入算法，其降维效果与计算复杂度不受特征向量数量影响。此算法对聚类和分类等下游推断任务的对比相似度度量具有较好效果。

    Sep, 2015

  • 使用 t-SVD 进行精确张量补全

    本文利用张量奇异值分解求得张量的秩概念 —— 张量管秩，使用具有优化性质的张量核范数最小化的凸优化问题，完成了从有限采样中完成高维数据恢复的任务，并证明了此方法的有效性。

    Feb, 2015