本文介绍了蝴蝶分解作为满足互补低秩性质的矩阵的一种数据稀疏逼近方法，并阐述了构建该分解的有效算法。结果表明，蝴蝶分解可以被快速地应用于 N x N 矩阵，并取得了很好的数值结果。

Feb, 2015

该论文介绍了一种算法，旨在通过将相应矩阵近似因式分解为少量稀疏因子，降低应用高维线性算子的复杂度，该方法依赖于近期非凸优化的进展，首先进行详细的解释和分析，然后在字典学习图像去噪和逆问题中展示实验效果。

Jun, 2015

该研究论文提出了一种基于正交蝶形结构参数化的参数高效微调方法，命名为 Orthogonal Butterfly (BOFT)，并进行了大型视觉转换模型、大型语言模型和文本到图像扩散模型在不同视觉和语言下游任务中的广泛实证研究。

Nov, 2023

介绍了一种学习算法，用于高效的近似矩阵乘法，其常用特性是需要零次乘积添加操作。实验表明，它比现有方法快 10 倍以上，而且比确切矩阵积快 100 倍。此外，核心操作 - 混合哈希，平均和字节混洗，可以是机器学习的更有前途的构建块，而不是近期研究和硬件投资重点的稀疏、因式分解和 / 或标量量化矩阵乘积。

Jun, 2021

提出了一种基于低位移秩概念的结构化变换方法，能快速优化深度学习模型在储存和功耗受限移动设备上的部署，通过参数共享的各种配置实现结构化到非结构化的统计建模，并在关键词检测应用中显著提高推理速度和轻量化程度，表现优于目前的技术。

Oct, 2015

我们引入了一种矩阵系列，叫做 Kaleidoscope matrices（K-matrix），它可以在保持时间和空间复杂度基本上不变的前提下，有效地捕捉模型中的结构特征。我们利用该方法，在端到端学习中自动学习了结构变换，实现了模型优化。实验结果表明，我们的方法可以用较小的计算代价比传统方法更好地捕捉结构特征，从而获得更高的效果。

Dec, 2020

通过例子，Transformer 可以学习执行数字计算。作者从基本矩阵操作到特征值分解和求逆，研究了线性代数的九个问题，并引入和讨论了四种编码方案以表示实数。通过使用随机矩阵训练的 Transformers 在所有问题上都能达到高的准确度，并且它们的模型对噪声具有鲁棒性，在训练分布之外也具有泛化能力。特别是，针对 Laplace 分布的特征值进行训练的模型对不同类别的矩阵具有泛化能力：Wigner 矩阵或具有正特征值的矩阵。反之则不成立。

Dec, 2021

本文介绍一种基于单个信号变换的频域学习模型，通过方差保持初始化方法和频率选择技术，可以简化模型设计，从而在各种动态系统的学习中获得更高的测试性能和更少的计算成本。

Nov, 2022

本文提出一种基于 Jacobi 特征值算法的贪心近似对图拉普拉斯矩阵进行对角化的方法，从而获得可快速应用和高效存储的近似图傅里叶变换，并在合成和真实图中的应用展示其潜力。

Dec, 2016

通过引入可分解的关注机制，我们将注意力机制的计算和内存复杂度从 O (N^2) 降低到 O (N)，并保持了注意力矩阵的完整表示，具有稀疏性和全连接关系。经过各种标准设置的测试，结果表明我们的注意力机制具有稳定的性能，并在自我注意力被使用的多种应用领域中具有重要潜力。

Feb, 2024