Oct, 2020

块状张量神经网络

PDF
TL;DR本文提出了一种名为 BT-layers 的新的神经网络结构，使用低秩分块张量来近似权重矩阵，能够大幅缩小 DNN 的参数数量，同时保持或提高其表征能力。
deep neural networksweight matricesbt-layerscompression ratiorepresentation power
发现论文，激发创造
  • 基于分块张量分解的简洁循环神经网络学习

    通过使用 Block-Term 张量分解方法，可以降低 RNNs 的参数数量从而提高其训练效率。

    Dec, 2017

  • 张量化神经网络

    本论文研究了如何使用 Tensor Train 格式转换全连接层的矩阵从而减少深度神经网络的参数数量和计算量，试验结论表明该方法可以将全连接层的参数压缩两百万倍，对整个网络的压缩比可达 7 倍。

    Sep, 2015

  • 用张量嵌入层实现模型高效压缩

    本文介绍了一种使用 Tensor Train（TT）分解来压缩模型中的嵌入层的新方法，并在自然语言处理的广泛基准测试中评估了其性能与压缩比之间的平衡。

    Jan, 2019

  • 基于黎曼梯度下降的低秩张量列车深度神经网络的开发及其在语音处理上的应用

    本文旨在设计复杂度低的混合张量网络，通过深入研究模型复杂度和实际性能之间的权衡，我们提出了低秩张量列深度神经网络（LR-TT-DNN）和利用卷积神经网络（CNN）与 LR-TT-DNN 相结合的混合模型 CNN +（LR-TT-DNN），并在语音增强和口语命令识别任务上进行评估。我们的实证研究证明，LR-TT-DNN 和 CNN +（LR-TT-DNN）模型能够以更少的模型参数表现得比 TT-DNN 和 CNN +（TT-DNN）更出色。

    Mar, 2022

  • 神经网络模型简化的张量分解：一篇综述

    该研究论文综述了六种张量分解方法及其在神经网络中的应用，说明使用这些方法可以明显地减少模型的大小，运行时间和能耗，在边缘设备上实现神经网络时效果显著。

    Apr, 2023

  • 张量神经网络：神经网络的泛化和模型压缩应用

    该研究提出了张量神经网络，利用高阶张量操作解决参数学习的难题，并实现了对高阶输入对象的自然处理，同时利用训练方法和压缩技术在精度和效率上均有提升。

    May, 2018

  • 优化计算效率：用结构矩阵代替稠密层

    稠密线性层、结构化矩阵、初始化尺度、学习速率和计算高效模型是这篇论文的关键。

    Jun, 2024

  • 张量回归网络

    本研究通过引入张量代数操作来替代全连接层，提出了张量收缩层和张量回归层，以减少参数数量并保留激活的多线性结构，同时通过在张量收缩层和张量回归层中加入低秩约束，改进了神经网络的性能，并在 MRI 图像分析任务上取得了显著的性能提升。

    Jul, 2017

  • 使用张量列压缩循环神经网络

    本文提出了使用 Tensor Train 格式来表示循环神经网络参数，从而显著降低参数数量的替代型循环神经网络，对比未压缩的循环神经网络在序列分类和序列预测中的表现，结果显示其性能不降反升，同时减小了 40 倍的参数数量。

    May, 2017

  • T-Net：使用单个高阶张量将完全卷积网络参数化

    本文提出一种全新的方法，旨在将卷积神经网络（CNN）完全参数化为高阶低秩张量，并将整个网络进行规范化，从而显著减少参数数量，而且在人体姿势估计这一具有挑战性的任务中，即使使用较小的压缩比，也能够实现卓越的性能。

    Apr, 2019