ICLRDec, 2020

万花筒：高效、可学习的所有结构化线性映射的表示

PDF
TL;DR我们引入了一种矩阵系列，叫做 Kaleidoscope matrices（K-matrix），它可以在保持时间和空间复杂度基本上不变的前提下，有效地捕捉模型中的结构特征。我们利用该方法，在端到端学习中自动学习了结构变换，实现了模型优化。实验结果表明，我们的方法可以用较小的计算代价比传统方法更好地捕捉结构特征，从而获得更高的效果。
neural networkstructured transformationk-matrixend-to-end learningmodel optimization
发现论文，激发创造
  • 利用蝴蝶分解学习线性变换的快速算法

    通过将快速矩阵向量乘法的特性定义为稀疏矩阵的积，我们引入了一种分治方法的参数化形式，可以自动学习很多重要的变换的有效算法，并且在机器学习流水线中可以作为通用矩阵的轻量级替代，以学习高效且可压缩的变换。

    Mar, 2019

  • 小型印记深度学习的结构变换

    提出了一种基于低位移秩概念的结构化变换方法，能快速优化深度学习模型在储存和功耗受限移动设备上的部署，通过参数共享的各种配置实现结构化到非结构化的统计建模，并在关键词检测应用中显著提高推理速度和轻量化程度，表现优于目前的技术。

    Oct, 2015

  • Monarch: 高效准确训练的表达性结构矩阵

    提出了一种硬件高效且表现力强的矩阵类别（Monarch），用于训练和微调稀疏或密集的神经网络，可在多个应用中实现加速训练的目的，并且具有可比拟的模型质量。

    Apr, 2022

  • 像素蝴蝶：稀疏训练神经网络模型的简单高效方法

    该研究提出了一种名为 Pixelated Butterfly 的稀疏模型训练方法，通过优化连续超集上的蝶式矩阵，采用简单的蝶式块和低秩矩阵稀疏化网络层，使训练速度提高 3 倍，并在 ImageNet 分类和 WikiText-103 语言建模任务中，使稀疏模型的训练速度比密集的 MLP-Mixer、Vision Transformer 和 GPT-2 medium 提高了 2.5 倍，而且精确度并未下降

    Nov, 2021

  • 深度核学习

    介绍了可伸缩的深度核，将深度学习架构的结构属性与核方法的非参数灵活性相结合，通过局部核插值、引入点、Kronecker 和 Toeplitz 代数进行转换，使用这些闭式核可以用作标准核的替代品，在表达能力和可伸缩性方面具有优势，通常情况下，学习和推断代价为 $ O (n)$，而预测代价为每个测试点的 $O (1)$。

    Nov, 2015

  • 用于高效深度神经网络的可微分广义结构矩阵学习

    该论文研究了如何通过梯度下降学习结构化权重矩阵的一般化和可微分的框架，以取代常见神经网络模型中不透明的、层与层之间可能不同的密集矩阵，从而构建高性能且复杂度较低的高效深度神经网络。

    Oct, 2023

  • 基于自注意力的非线性基变换用于动态光纤传输矩阵的紧凑潜变量建模

    使用自注意力层动态转换光纤矩阵的坐标表示，以便进一步处理，证明了这种方法对多种光纤矩阵数据集的有效性。

    Jun, 2024

  • 使用循环矩阵训练紧凑型深度学习模型进行视频分类

    本研究旨在减小大型权重矩阵所带来的训练和部署难度，提出一种基于 Deep Bag-of-Frames、NetVLAD 和 NetFisherVectors 等先进网络架构的紧凑视频分类模型，并在广泛使用的 YouTube-8M 视频分类数据集上进行了深入的实验研究，发现循环 DBoF 嵌入在模型大小和准确性之间取得了很好的平衡。

    Oct, 2018

  • 分组与混洗：高效结构正交参数化

    在本研究中，我们引入了一类新的结构化矩阵，统一并推广了之前工作中的结构化类，以进一步改进参数和计算效率。我们还将这种参数化方法用于修改正交微调框架，在不同领域进行了实证验证，包括文本与图像扩散模型的自适应和语言建模中的下游任务微调。此外，我们还将我们的结构化构造用于正交卷积，并进行了 1-Lipschitz 神经网络的实验。

    Jun, 2024

  • 优化计算效率：用结构矩阵代替稠密层

    稠密线性层、结构化矩阵、初始化尺度、学习速率和计算高效模型是这篇论文的关键。

    Jun, 2024