Apr, 2024

三维医学图像分割的训练后网络压缩：通过 Tucker 分解减少计算工作量

PDF
TL;DR通过张量分解研究网络压缩的有效性，我们提出了一种后训练 Tucker 分解方法，以减少预先存在模型的计算要求，而不会影响分割准确性。这种方法能够在计算效率和分割质量之间提供可调节的权衡，并且适用于医学图像分割模型的计算需求降低。
deep learningsegmentation modelsnetwork compressiontucker decompositioncomputational efficiency
发现论文，激发创造
  • 使用 Tucker 分解压缩视频中的 CNN 内核：走向轻量级 CNN 应用

    该研究使用 Tucker 分解对预训练卷积网络的卷积核进行压缩，以在移动设备上应用于视频数据并降低网络复杂度，在 THETIS 数据集上进行测试，结果表明比较相似的准确度，但相对于内存压缩的因子高达 51 倍，而实际计算速度提升却不足预期

    Mar, 2022

  • ADA-Tucker：透过自适应维度调节 Tucker 分解压缩深度神经网络

    本文提出一种自适应的维度调整 Tucker 分解网络压缩方法（ADA-Tucker）和其扩展模型 Shared Core ADA-Tucker（SCADA-Tucker），通过学习的核心张量和转换矩阵，实现对高维张量的分解，以及在无需记录非零元素索引的情况下，使 LeNet-5 和 LeNet-300 的存储分别降低了 691 倍和 233 倍，进一步在其他三个基准测试（CIFAR-10，SVHN，ILSVRC12）和现代深度网络（ResNet，Wide-ResNet）上获得了良好的效果。

    Jun, 2019

  • 神经网络模型简化的张量分解：一篇综述

    该研究论文综述了六种张量分解方法及其在神经网络中的应用，说明使用这些方法可以明显地减少模型的大小，运行时间和能耗，在边缘设备上实现神经网络时效果显著。

    Apr, 2023

  • 使用分层 Tucker 张量分解压缩循环神经网络

    本研究提出使用分层 Tucker 分解压缩循环神经网络，提高了其表示能力且相比于 TT-LSTM、TR-LSTM、BT-LSTM 等现有压缩模型，在不同数据集上同时实现了压缩比和测试准确度的显著提升。

    May, 2020

  • 基于张量分解的 DNN 模型压缩及优化框架

    本文提出一种基于张量分解的模型压缩系统，采用交替方向乘子法进行优化求解。该系统适用于卷积神经网络和循环神经网络，可大幅降低计算量和参数量，并保持较高的准确性。

    Jul, 2021

  • 个性化 Tucker 分解：在张量数据上建模共性和个性

    我们提出了个性化的 Tucker 分解 (perTucker)，来解决传统张量分解方法在捕捉不同数据集间异质性方面的局限性。通过将张量数据分解为共享的全局分量和个性化的局部分量，学习不同数据集间的独特和共同表示，我们证明了 perTucker 在异常检测、客户分类和聚类等方面的有效性。

    Sep, 2023

  • 面向移动应用的快速低功耗深度卷积神经网络压缩

    提出了一种简单而有效的方案 —— 单次整个网络压缩，以在移动设备上部署深度卷积神经网络，并通过对各种压缩卷积神经网络在智能手机上的性能进行测试，证明了所提方案的有效性，可获得显著的模型尺寸、运行时间和能量消耗的降低，同时只付出了小量精度损失。

    Nov, 2015

  • MACH: 快速随机张量分解

    本文提出了一种新的采样算法 MACH，用于计算 Tucker 分解，能够有效地处理大规模，计算密集型和后期数据分析的多方面数据。

    Sep, 2009

  • 无限 Tucker 分解：多元数据分析的非参数贝叶斯模型

    本篇论文提出了一种名为 InfTucker 的新的张量分解模型，采用基于贝叶斯模型的 tensor-variate latent nonparametric Bayesian 模型，并结合高效推理方法，适用于多元数据分析，可处理多种数据类型和不确定性，实验结果显示其预测准确性优于现有的最先进的 tensor 分解模型。

    Aug, 2011

  • 压缩循环神经网络的张量分解

    本文通过使用多种张量分解方法对门控循环单元 RNN 进行再参数化，旨在减少参数数量并保持表达能力，研究表明，在序列建模方面，Tensor Train 表现最佳。

    Feb, 2018