Jul, 2022

使用奇异值分解的井字棋评估函数压缩与性能评估

PDF
TL;DR本文研究了用奇异值分解（SVD）对井字游戏的评估函数进行近似，并探讨了近似精度对胜率的影响。研究结果表明，SVD 可以有效压缩棋盘游戏策略，并且较之于 SVD，使用高阶奇异值分解（HOSVD）的压缩方法会获得更高的胜率。
发现论文，激发创造
  • 使用 t-SVD 进行精确张量补全

    本文利用张量奇异值分解求得张量的秩概念 —— 张量管秩，使用具有优化性质的张量核范数最小化的凸优化问题，完成了从有限采样中完成高维数据恢复的任务，并证明了此方法的有效性。

    Feb, 2015

  • 语言模型加权低秩估计的数值优化

    我们提出了一种加权奇异值分解压缩 Transformer 的语言模型的方法，该方法考虑了神经网络参数的不平等重要性，并解决了没有封闭形式解决方案的非凸优化问题。实验结果表明，相较于传统的 SVD 方法，在压缩 Transformer 的语言模型时，我们的方法可以获得更好的效果。

    Nov, 2022

  • 随机张量列奇异值分解

    该研究针对层次张量表示，研究了随机矩阵分解方法在高阶张量中的推广，并提出分析了一种用于计算张量拓扑结构的随机算法。

    Oct, 2017

  • 压缩谱嵌入：避开 SVD

    本文提出一种基于随机投影与有限阶多项式拓展计算奇异值分解嵌入的压缩光谱嵌入算法，其降维效果与计算复杂度不受特征向量数量影响。此算法对聚类和分类等下游推断任务的对比相似度度量具有较好效果。

    Sep, 2015

  • 基于 t - 积的随机张量奇异值分解

    本文介绍了一种利用随机矩阵方法扩展张量 SVD 来压缩和分析数据集的方法，相对于 t-SVD，具有更高的计算效率，并提供了该算法的详细说明和数值结果。

    Sep, 2016

  • 加权低秩分解语言模型压缩

    提出了一种基于 Fisher 信息的 SVD 压缩方法（FWSVD），它可以通过加权计算参数的重要性来降低模型压缩中优化目标与模型任务的目标不匹配的问题，该方法适用于任务特定模型并且可以取得比其他紧凑模型策略更好的性能和更高的压缩率。

    Jun, 2022

  • 三元奇异值分解作为线性映射中更好的参数化形式

    我们提出了一种简单而新颖的参数化线性映射形式，称为 Ternary SVD（TSVD）。与传统的奇异值分解（SVD）不同，TSVD 限制了 SVD 中的 U 和 V 矩阵为三值矩阵形式（±1，0）。在计算 U（・）和 V（・）时，TSVD 仅需要加法指令，而无需昂贵的乘法指令。我们提供了直接转换算法和训练转换算法的过渡算法（如后训练量化和量化感知训练）。此外，我们理论上分析了直接转换算法的收敛性。在实验证明，TSVD 可以在各种类型的网络和任务中实现最先进的网络压缩性能，包括当前的基线模型，如 ConvNext、Swim、BERT 和大型语言模型 OPT。

    Aug, 2023

  • Tucker 格式低秩张量分解的随机算法

    本文研究基于随机算法的张量分解方法在 Tucker 表达式下的应用，提出并分析了 HOSVD 和 STHOSVD 的随机算法，并针对大规模数据集提出了适用于不同需求的改进方案。

    May, 2019

  • 高阶张量的多尺度分析

    介绍了一种基于混合线性建模和子空间聚类技术的自适应、多尺度张量分解方法，旨在降低大型和多模态数据的维度和表示复杂度。该方法在多个真实张量信号的维数约简和分类问题中表现良好。

    Apr, 2017

  • Nystroöm 方法在矩阵压缩中的应用

    介绍了如何使用 Nyström 方法来寻找一般矩阵的奇异值分解和方阵的特征值分解，从而得到压缩版本的矩阵，并在选择 A_M 方面提出了一个好的初始采样算法，适用于一般矩阵和核矩阵。

    May, 2013