Oct, 2023

用于高效深度神经网络的可微分广义结构矩阵学习

PDF
TL;DR该论文研究了如何通过梯度下降学习结构化权重矩阵的一般化和可微分的框架，以取代常见神经网络模型中不透明的、层与层之间可能不同的密集矩阵，从而构建高性能且复杂度较低的高效深度神经网络。
deep neural networksstructured weight matricesgradient descentfrequency-domain differentiable parameterizationefficient dnns
发现论文，激发创造
  • 优化计算效率：用结构矩阵代替稠密层

    稠密线性层、结构化矩阵、初始化尺度、学习速率和计算高效模型是这篇论文的关键。

    Jun, 2024

  • 分组与混洗：高效结构正交参数化

    在本研究中，我们引入了一类新的结构化矩阵，统一并推广了之前工作中的结构化类，以进一步改进参数和计算效率。我们还将这种参数化方法用于修改正交微调框架，在不同领域进行了实证验证，包括文本与图像扩散模型的自适应和语言建模中的下游任务微调。此外，我们还将我们的结构化构造用于正交卷积，并进行了 1-Lipschitz 神经网络的实验。

    Jun, 2024

  • 通过矩阵反向传播训练具有结构层的深度网络

    本文提出了一种将全局结构化计算形式化整合到深度计算架构中的方法，其核心是开发了一种新的基于矩阵变化的 backpropagation 理论和实践，该方法广泛适用于机器学习或计算感知问题，我们在 BSDS 和 MSCOCO 基准测试中执行视觉分割实验，结果表明端到端训练的基于第二阶池化和归一化切割层的深度网络，使用矩阵反向传播优于没有利用全局层的对应网络。

    Sep, 2015

  • 从头开始学习 N:M 细粒度结构稀疏神经网络

    本文研究了一种 N:M 级别的深度神经网络稀疏网络，在专门设计的 GPU 上同时具有非结构化细粒度稀疏性和结构化粗粒度稀疏性的优点，解决了传统稀疏网络的效率问题，同时提出了一种 Sparse-refined Straight-through Estimator 方法，解决了传统优化方法下的负面影响。

    Feb, 2021

  • StructADMM: DNNs 的结构化权重剪枝的系统性、高效性框架

    提出了一个系统性的结构裁剪框架来优化 DNNs，使用随机梯度下降和 ADMM，可以以更高的加速度进行优化，即使在一些有损准确性的情况下，模型的压缩率也能达到 15.0 倍。

    Jul, 2018

  • 使用概率建模动态优化神经网络结构

    本文提出一种方法在深度神经网络训练期间同时优化网络结构和权重参数的概率分布，可用于解决多种网络结构优化问题，包括层次选择、单元类型选择和连接选择，实验结果表明该方法能够找到适当且具有竞争力的网络结构。

    Jan, 2018

  • 小型印记深度学习的结构变换

    提出了一种基于低位移秩概念的结构化变换方法，能快速优化深度学习模型在储存和功耗受限移动设备上的部署，通过参数共享的各种配置实现结构化到非结构化的统计建模，并在关键词检测应用中显著提高推理速度和轻量化程度，表现优于目前的技术。

    Oct, 2015

  • 通过利用雅可比矩阵的低秩结构实现神经网络的泛化保证

    本文探讨了神经网络架构的泛化能力，发现训练和泛化在整洁和结构化的数据集上很容易，在嘈杂和非结构化的数据集上则更难。通过使用 “信息” 空间和 “噪声” 空间，本文证明了即使是常数宽度的神经网络，对于足够好的数据集也可以证明泛化。

    Jun, 2019

  • 具有结构化数据的高效异步随机梯度算法

    该研究探讨了通过 Kronecker 结构加速训练数据输入的方法，从而在数据维度的次线性时间内完成每次迭代。

    May, 2023

  • 基于分层矩阵的多尺度神经网络

    引入一种基于 H 矩阵结构的新多尺度人工神经网络，可将其推广到非线性情况，并且能够高效逼近非线性薛定谔方程和 Kohn-Sham 密度泛函理论等离散非线性映射。

    Jul, 2018