ICMLJun, 2024

优化计算效率：用结构矩阵代替稠密层

PDF
TL;DR稠密线性层、结构化矩阵、初始化尺度、学习速率和计算高效模型是这篇论文的关键。
dense linear layersstructured matricesinitialization scaleslearning ratescompute-efficient models
发现论文，激发创造
  • Monarch: 高效准确训练的表达性结构矩阵

    提出了一种硬件高效且表现力强的矩阵类别（Monarch），用于训练和微调稀疏或密集的神经网络，可在多个应用中实现加速训练的目的，并且具有可比拟的模型质量。

    Apr, 2022

  • 用于高效深度神经网络的可微分广义结构矩阵学习

    该论文研究了如何通过梯度下降学习结构化权重矩阵的一般化和可微分的框架，以取代常见神经网络模型中不透明的、层与层之间可能不同的密集矩阵，从而构建高性能且复杂度较低的高效深度神经网络。

    Oct, 2023

  • 在高效基础上构建：利用结构化前馈层有效训练 LLMs

    通过结构化的前馈网络，使用线性层近似来减少大型语言模型的参数数量和计算成本，同时提出一种自我引导训练的方法来改善这种近似所表现出的训练动力学，从而在训练和推断中实现高效和有效的结果。

    Jun, 2024

  • 通过矩阵反向传播训练具有结构层的深度网络

    本文提出了一种将全局结构化计算形式化整合到深度计算架构中的方法，其核心是开发了一种新的基于矩阵变化的 backpropagation 理论和实践，该方法广泛适用于机器学习或计算感知问题，我们在 BSDS 和 MSCOCO 基准测试中执行视觉分割实验，结果表明端到端训练的基于第二阶池化和归一化切割层的深度网络，使用矩阵反向传播优于没有利用全局层的对应网络。

    Sep, 2015

  • 小型印记深度学习的结构变换

    提出了一种基于低位移秩概念的结构化变换方法，能快速优化深度学习模型在储存和功耗受限移动设备上的部署，通过参数共享的各种配置实现结构化到非结构化的统计建模，并在关键词检测应用中显著提高推理速度和轻量化程度，表现优于目前的技术。

    Oct, 2015

  • 块状张量神经网络

    本文提出了一种名为 BT-layers 的新的神经网络结构，使用低秩分块张量来近似权重矩阵，能够大幅缩小 DNN 的参数数量，同时保持或提高其表征能力。

    Oct, 2020

  • 可分离层使结构化有效线性替换成为可能

    本文表明，使用结构化线性分解替换点积卷积中的线性元素不仅更高效，而且还提供了在效率 / 准确性方面的达成帕累托最优的成果。

    Jun, 2019

  • 张量化神经网络

    本论文研究了如何使用 Tensor Train 格式转换全连接层的矩阵从而减少深度神经网络的参数数量和计算量，试验结论表明该方法可以将全连接层的参数压缩两百万倍，对整个网络的压缩比可达 7 倍。

    Sep, 2015

  • 利用蝴蝶分解学习线性变换的快速算法

    通过将快速矩阵向量乘法的特性定义为稀疏矩阵的积，我们引入了一种分治方法的参数化形式，可以自动学习很多重要的变换的有效算法，并且在机器学习流水线中可以作为通用矩阵的轻量级替代，以学习高效且可压缩的变换。

    Mar, 2019

  • 矩阵神经网络

    提出了一种矩阵神经网络（MatNet），通过双线性映射从上一层单元中感知总结信息，并方便地扩展到多模输入，应用于 MNIST 手写数字分类和图像超分辨率任务中，具有与最先进方法可比较的性能和大大降低的复杂性。

    Jan, 2016