通过压缩模型，平衡泛化误差的减小和经验风险的增加，从而证明模型压缩可以提高预训练模型的总体风险，同时推荐使用 Hessian-weighted K-means 聚类压缩方法进行正则化，通过神经网络的实验进一步验证了理论结论。

Jan, 2019

本文研究了样本压缩方案与统计学习之间的关系，探究了学习能力与可压缩性之间的等价性，并在多类别分类问题中研究了统计学习理论。作者证明了在零 / 一损失分类的情况下，可学习性等价于对数样本大小的压缩，并且一致收敛意味着恒定大小的压缩。作者还探究了在 Vapnik 的一般学习设置下压缩能力与学习能力的等价性，并给出了一些在多类别分类问题中的应用。

Oct, 2016

本文介绍了现代神经网络的普遍过拟合问题以及如何通过模型压缩来限制模型复杂度，提高模型泛化性能，同时基于对模型压缩技术的分析，提供了在压缩神经网络时的泛化误差界限及给出了实际应用于 ImageNet 分类问题中的第一个非微不足道的可行泛化误差保证。

Apr, 2018

通过压缩模型来解决预测问题和训练大型语言模型的相关研究，大型语言模型展现出强大的预测和压缩能力，此视角为规模定律、分词和上下文学习提供了新的观点，并且可以使用任何压缩器构建条件生成模型。

Sep, 2023

本文提出了一种基于压缩统计学习的通用框架，通过将训练集压缩成一个捕捉到相关学习任务信息的低维矢量，进而通过非线性最小二乘问题计算出风险的近似最小值，并探讨了控制此过程的广义误差的足够描绘尺寸。该框架在压缩 PCA，压缩聚类和已知固定方差的压缩高斯混合建模问题上得到了验证。

Jun, 2017

每个学习二进制假设类都具有有限的 VC 维度且可采用一个与 VC 维度无关的有限函数大小的样本压缩方案，然而，每个学习多类假设类都具有有限的 DS 维度且不具有一个与 DS 维度无关的有限函数大小的样本压缩方案。

Aug, 2023

通过实验证明，即使考虑到参数编码，深度神经网络仍能够压缩训练数据，而这种压缩视角最初激励了神经网络中变分方法的使用。我们发现，这些变分方法提供了惊人的较差压缩界限，这可能解释了变分方法在深度学习中相对较差的实际性能。另一方面，简单的增量编码方法在深度网络上产生了出色的压缩效果，从而证明了 Solomonoff 的方法。

Feb, 2018

该文提出了一种关于图像分类任务下的 Pareto frontier 映射和压缩的方法，通过找到相应的映射和压缩方法，分别最大化互信息和最小化熵，从而在保证信息完整性的同时，最大化信息与目标之间的相关性，而且该方法可以被解释为一种信息论优化的图像聚类算法。

Aug, 2019

本文介绍了神经压缩的概念及其在数据压缩领域中的应用，首次完整回顾了信息论和计算机视觉的背景知识，并提供了一个文献综述，总结了目前领域内的主要意见和方法。

Feb, 2022

本文利用无监督目标设计神经压缩器进行图像压缩，以满足具有数据增强特征的所有预测任务的高性能，实现了大幅度节省数据率的效果，同时不会降低下游分类性能。

Jun, 2021