基于压缩的非压缩网络界限：大型可压缩深度神经网络统一泛化误差分析

ICLRSep, 2019

基于压缩的非压缩网络界限：大型可压缩深度神经网络统一泛化误差分析

Compression based bound for non-compressed network: unified generalization error analysis of large compressible deep neural network

PDF

Taiji Suzuki, Hiroshi Abe, Tomoaki Nishimura

TL;DR本文提出一种统一框架，将压缩基础界限转化为非压缩原始网络的界限，并建立数据相关的泛化误差界限，比数据独立的误差界限更紧密。

Abstract

One of the biggest issues in deep learning theory is the generalization ability of networks with huge model size. The classical learning theory suggests that overparameterized models cause overfitting. However, p

deep learning theory overparameterized models generalization ability compression based bound data dependent generalization error bound

发现论文，激发创造

ImageNet 尺度下的非空泛化界：一种 PAC-Bayesian 压缩方法

本文介绍了现代神经网络的普遍过拟合问题以及如何通过模型压缩来限制模型复杂度，提高模型泛化性能，同时基于对模型压缩技术的分析，提供了在压缩神经网络时的泛化误差界限及给出了实际应用于 ImageNet 分类问题中的第一个非微不足道的可行泛化误差保证。

Apr, 2018

通过压缩方法增强深度网络的泛化界限

本论文通过新的简洁再参数化方法的引入和新的 “噪声稳定性” 属性的发现，提供了一种基于压缩的框架来估计神经网络的泛化性能边界，并将此方法拓展到卷积神经网络中。

Feb, 2018

通过张量方法理解深度学习中的泛化

在这项研究中，我们从压缩的角度提出了一系列直观，数据相关且易于测量的属性，紧密地刻画了神经网络的可压缩性和通用性，进而提供了进一步设计具有更好 / 保证通用性属性的神经网络架构的见解。

Jan, 2020

深度网络压缩感知训练

本文提出在训练过程中明确考虑模型压缩，通过引入低秩正则化项使每层参数矩阵的秩尽量小，实现更有效的模型压缩。实验证明，这一方法比现有的压缩技术更加高效。

Nov, 2017

利用输入压缩来界定广义误差：无限宽度神经网络的实证研究

本文探讨了利用输入和最终层表示之间的互信息来估算深度神经网络广义误差，并使用输入压缩边界将互信息和广义误差联系起来，证明其在许多情况下表现优异，有助于消除试错的过程。

Jul, 2022

随机梯度下降中的重尾以及过度参数化神经网络的可压缩性

本研究揭示了训练算法的动态特性在实现神经网络压缩方案上起着关键作用，通过将压缩性与随机梯度下降的近期性质联系起来，本文证明了当神经网络遵循一定条件时，网络参数具有稀疏性，并且压缩误差可以任意减小，同时可证明良好的压缩性可降低泛化误差，该理论得到了各种神经网络的数值实验验证。

Jun, 2021

神经网络模型压缩的保证量化误差计算

本文介绍了一种神经网络压缩技术方法，建立了一个混合神经网络，由一个前馈神经网络和其量化版本组成，通过优化和可达性分析方法计算了保证的量化误差。数值例子验证了该方法的适用性和有效性。

Apr, 2023

模型压缩的失真率研究：从理论到实践

本文研究深度神经网络模型压缩技术，提出了基于速率失真理论的压缩架构以及优化剪枝和量化技术，理论上证明了该架构对于一层 ReLU 神经网络最优，实验证明该方法在压缩 - 精度平衡上显著优于基线方法。

Oct, 2018

分布式深度学习压缩通信的理论分析与实际实现之间的差异

通过实验和理论分析，本文表明在深度神经网络的分布式数据并行训练中，面向单个层的压缩比面向整个模型的压缩方式更好，但实验也显示，具体训练模型和压缩率都可能导致实际收敛率的变化。因此，本文建议深度学习框架应支持面向单个层和整个模型的压缩方式。

Nov, 2019

通过蒸馏法获得推广界限

该论文从理论上研究了高复杂度网络的蒸馏问题，并使用了数据增强来展示它的好的泛化性，并配合计算图缩减技术和实验来证明它具有实际应用价值。

Apr, 2021