Feb, 2021

模型剪枝的信息论理论解释

PDF
TL;DR本文探讨了神经网络压缩问题，利用率失真理论解释了压缩比和神经网络性能之间的张力，提出了一种压缩和失真之间的折衷方法，并通过该理论分析表明模型剪枝是好的压缩算法的一部分，最后，提出了一种基于信息理论的剪枝策略并在 CIFAR-10 和 ImageNet 数据集上显示出其优越性。
neural networkcompressionpruningrate-distortion theoryinformation-theoretic formulation
发现论文，激发创造
  • 模型压缩的失真率研究：从理论到实践

    本文研究深度神经网络模型压缩技术，提出了基于速率失真理论的压缩架构以及优化剪枝和量化技术，理论上证明了该架构对于一层 ReLU 神经网络最优，实验证明该方法在压缩 - 精度平衡上显著优于基线方法。

    Oct, 2018

  • 关于无数据结构化剪枝的因果推断

    本文从因果推理的角度应对神经网络尺寸扩大导致的资源消耗过高的问题，提出一种评分机制来进行神经网络的结构化剪枝和压缩，实现了在各种数据集和模型尺寸下的竞争性表现。

    Dec, 2021

  • 修枝视觉模型存在的偏差：深入分析与对策

    该研究系统地调查和表征神经网络剪枝在计算机视觉中引起偏差的现象，提出基于未压缩模型的易于使用的标准，以确定裁剪是否会增加偏差，并确定在压缩后最容易受到偏差预测影响的样本。

    Apr, 2023

  • 模拟指导的迭代剪枝网络压缩方法

    本研究提出了利用网络压缩的方法来解决深度学习模型在资源有限的系统中的应用难题，并利用迭代剪枝技术使压缩后的网络更加高效和精确。实验证明该方法在与现有方法进行比较时在相同剪枝等级下表现更佳。

    Feb, 2019

  • 深度神经网络的熵受限训练

    该研究提出了一种神经网络压缩的通用框架，通过最小描述长度原则和熵来量化其复杂度并使用基于梯度的优化技术实现了优秀的压缩结果。

    Dec, 2018

  • 通过概率潜空间解释深度神经网络压缩

    通过使用信息论分歧度量，本文提出了一个基于深度神经网络 (DNNs) 权重的概率潜在空间的新的理论框架，解释了网络稀疏性与性能之间的关系，并通过实验证明了这个理论的结果。

    Feb, 2024

  • 神经数据压缩简介

    本文介绍了神经压缩的概念及其在数据压缩领域中的应用，首次完整回顾了信息论和计算机视觉的背景知识，并提供了一个文献综述，总结了目前领域内的主要意见和方法。

    Feb, 2022

  • 剪枝对 CNN 解释性的影响：少即是多

    本文通过剪枝卷积神经网络来减少其复杂性，进而增加其可解释性。通过实验探究了不同的剪枝比率对于卷积神经网络的可解释性的影响，发现较低的压缩率对可解释性有积极影响，而较高的压缩率则会导致负面影响，并挖掘了提高模型性能和可解释性的 “最佳点”。

    Feb, 2023

  • 深度学习模型的描述长度

    通过实验证明，即使考虑到参数编码，深度神经网络仍能够压缩训练数据，而这种压缩视角最初激励了神经网络中变分方法的使用。我们发现，这些变分方法提供了惊人的较差压缩界限，这可能解释了变分方法在深度学习中相对较差的实际性能。另一方面，简单的增量编码方法在深度网络上产生了出色的压缩效果，从而证明了 Solomonoff 的方法。

    Feb, 2018

  • 重新思考无损压缩：速率 - 失真 - 感知之间的权衡

    通过采用 Blau & Michaeli 2018 年提出的感知质量的数学定义，研究了速率、失真和感知之间的三重权衡，我们证明了该三重权衡的几个基本属性，并在一个玩具 MNIST 例子上进行了可视化说明。

    Jan, 2019