network compression | BriefGPT

关键词network compression

搜索结果 - 32

神经网络及其衍生领域的知识一致性
本文旨在分析预训练深度神经网络之间的知识一致性，并提出了一个泛化定义。方式是设计了一种任务不可知的方法来解开每个神经网络的原始中间层特征和表示一致知识的特征组成部分。这项工作可以用于不同应用，例如调整预训练网络以提高性能并解释基于知识蒸馏和
PDF5 years ago
ADA-Tucker：透过自适应维度调节 Tucker 分解压缩深度神经网络
本文提出一种自适应的维度调整 Tucker 分解网络压缩方法（ADA-Tucker）和其扩展模型 Shared Core ADA-Tucker（SCADA-Tucker），通过学习的核心张量和转换矩阵，实现对高维张量的分解，以及在无需记录非
PDF5 years ago
BayesNAS: 一种用于神经结构搜索的贝叶斯方法
本文采用经典的贝叶斯学习方法，利用分层自动相关决策（HARD）先验对架构参数进行建模以缓解一次 NAS 方法中存在的两个问题，并成功利用 CIFAR-10 数据集在 0.2 GPU 天内找到了精确的架构，同时通过提供结构稀疏性实现了分类精度
PDF5 years ago
ICCV特征蒸馏的全面改进
本文研究了特征蒸馏方法在网络压缩中的设计问题，并提出了一种新的特征蒸馏方法，其中蒸馏损失的设计使各个方面之间产生协同效应：老师变换，学生变换，蒸馏特征位置和距离函数。该方法在图像分类、目标检测和语义分割等多个任务中实现了显著的性能提升。
PDF5 years ago
NIPS模拟指导的迭代剪枝网络压缩方法
本研究提出了利用网络压缩的方法来解决深度学习模型在资源有限的系统中的应用难题，并利用迭代剪枝技术使压缩后的网络更加高效和精确。实验证明该方法在与现有方法进行比较时在相同剪枝等级下表现更佳。
PDF5 years ago
AAAI教辅辅助下的知识蒸馏改进
本论文针对深度神经网络过于庞大以至于不能部署在移动设备等边缘设备的问题，提出了一种基于知识蒸馏的网络压缩方法。然而，该论文表明，如果学生网络与教师网络之间的差距太大，那么知识蒸馏的性能会下降；为此，该论文提出了一种多步知识蒸馏的方法，通过使
PDF5 years ago
NIPS高效深度神经网络的训练排名剪枝
本文提出了一种名为 TRP 的低秩逼近和正则化相结合的训练方法，用于在边缘设备上进行深度神经网络的图像分类任务，并在 CIFAR-10 和 ImageNet 数据集上进行了广泛评估，结果表明相比于之前的低秩逼近压缩方法取得了更好的性能。
PDF6 years ago
CVPR具有层次先验的变分贝叶斯 Dropout
我们提出了一种新的名为 Variational Bayesian Dropout (VBD) 的泛化 Gaussian Dropout 方法，其利用分层先验来推断联合后验，以解决 Variational dropout 中的不恰当先验带来的
PDF6 years ago
AAAI网络重构：一种通用的网络架构转换方法
本文提出了网络重塑作为一种网络架构转换的通用方法，该方法可以通过块级重塑加速推理过程，同时还可以用于网络压缩。作者的实验表明，该方法在 GPU 上实现的速度优于之前的压缩方法。
PDF6 years ago
在修剪的权值预算上进行完整深度神经网络训练
本研究提出了一种 DNN 训练技术，该技术可以在不影响准确率的情况下，只学习了部分全参数集。此方法使用反向传播约束更新权重的总数，以仅跟踪具有最高总梯度的权重。通过确保总权重扩散保持接近于基线未修剪 SGD 的扩散，使用我们技术进行修剪的网
PDF6 years ago
一种深层神经网络压缩的新型通道修剪方法
本文提出了一种基于遗传算法的新型通道剪枝方法，通过分层和知识蒸馏框架的剪枝中，显著降低了模型的冗余，并在三个基准数据集上验证其性能。
PDF6 years ago
NIPS高效 DNN 的动态网络剪枝
本研究提出了一种名为动态网络手术的网络压缩方法，能够通过即时连接修剪显著降低网络复杂性，同时避免了错误裁剪的问题，并将其作为一个持续的网络维护过程，实验结果表明，该方法能够有效地压缩 LeNet-5 和 AlexNet 的参数数量，而不会损
PDF8 years ago