Jun, 2023

深度神经网络压缩对长尾效应的影响研究

PDF
TL;DR本文研究在神经网络的网络压缩过程中如何保持原始网络的语义等价性，并通过对长尾现象的探讨，正向证明了全模型和压缩模型之间的差异与训练数据的记忆程度相关。
network compressionneural networksemantic equivalencelong tail phenomenonimage classification
发现论文，激发创造
  • 神经数据压缩简介

    本文介绍了神经压缩的概念及其在数据压缩领域中的应用，首次完整回顾了信息论和计算机视觉的背景知识，并提供了一个文献综述，总结了目前领域内的主要意见和方法。

    Feb, 2022

  • 随机梯度下降中的重尾以及过度参数化神经网络的可压缩性

    本研究揭示了训练算法的动态特性在实现神经网络压缩方案上起着关键作用，通过将压缩性与随机梯度下降的近期性质联系起来，本文证明了当神经网络遵循一定条件时，网络参数具有稀疏性，并且压缩误差可以任意减小，同时可证明良好的压缩性可降低泛化误差，该理论得到了各种神经网络的数值实验验证。

    Jun, 2021

  • 卷积神经网络结构压缩的分类与评估

    简介神经网络压缩，分类不同压缩方法，探讨张量分解和概率压缩等技术，研究证明 SVD 和概率压缩或修剪方法最优。

    Dec, 2019

  • 深度学习模型的描述长度

    通过实验证明，即使考虑到参数编码，深度神经网络仍能够压缩训练数据，而这种压缩视角最初激励了神经网络中变分方法的使用。我们发现，这些变分方法提供了惊人的较差压缩界限，这可能解释了变分方法在深度学习中相对较差的实际性能。另一方面，简单的增量编码方法在深度网络上产生了出色的压缩效果，从而证明了 Solomonoff 的方法。

    Feb, 2018

  • 语言建模即压缩

    通过压缩模型来解决预测问题和训练大型语言模型的相关研究，大型语言模型展现出强大的预测和压缩能力，此视角为规模定律、分词和上下文学习提供了新的观点，并且可以使用任何压缩器构建条件生成模型。

    Sep, 2023

  • ImageNet 尺度下的非空泛化界：一种 PAC-Bayesian 压缩方法

    本文介绍了现代神经网络的普遍过拟合问题以及如何通过模型压缩来限制模型复杂度，提高模型泛化性能，同时基于对模型压缩技术的分析，提供了在压缩神经网络时的泛化误差界限及给出了实际应用于 ImageNet 分类问题中的第一个非微不足道的可行泛化误差保证。

    Apr, 2018

  • 压缩的深度神经网络遗忘了什么？

    通过对神经网络剪枝和量化技术的研究，我们发现模型容量的减少会对数据分布尾部产生不成比例的影响，这在不同图片和类别的表现上表现出明显的差异。

    Nov, 2019

  • 基于压缩的循环神经网络用于高效语言建模

    本文考虑了针对循环神经网络的多种压缩技术，特别关注大词汇量带来的高维输出问题，探讨剪枝、量化和矩阵分解在语言模型中的有效压缩方法，以及大小、适用性和困惑度的取舍，最终提出一种压缩循环神经网络的通用流程，并使用 Penn Treebank 数据集展示了矩阵分解技术在速度和压缩 - 困惑度平衡方面的最佳结果。

    Feb, 2019

  • 自压缩神经网络

    本文介绍了一种称为 Self-Compression 的方法，可以移除神经网络中的冗余参数和减少表示权重所需的位数，从而简化网络结构，提高训练和推断效率。作者通过实验证明，使用 Self-Compression 方法可以在只保留网络中 18% 的权重和仅需 3% 的位数的条件下，还能实现浮点数的准确性。

    Jan, 2023

  • 神经网络最优压缩锯齿桥

    本文研究了基于神经网络的压缩器在处理集中于低维流形上的高维数据（如图像）方面的有效性，同时研究了一个连续时间随机过程的最优熵 - 失真权衡并对比了经典的 Karhunen-Loève 变换的压缩器，结果表明基于神经网络的压缩器在训练采用随机梯度下降的情况下可实现最佳性能。

    Nov, 2020