本文研究了样本压缩方案与统计学习之间的关系，探究了学习能力与可压缩性之间的等价性，并在多类别分类问题中研究了统计学习理论。作者证明了在零 / 一损失分类的情况下，可学习性等价于对数样本大小的压缩，并且一致收敛意味着恒定大小的压缩。作者还探究了在 Vapnik 的一般学习设置下压缩能力与学习能力的等价性，并给出了一些在多类别分类问题中的应用。

Oct, 2016

本文提出了一种新的理论，可以控制压缩函数（称为 “风险” 的压缩函数的改变概率），并证明了压缩集合的基数是风险的一致估计量的条件。结果可用于不需要先验知识的全面无偏配置中。这些结果不仅可用于完全了解驱动方法的信任，而且在学习技术中，还可以作为超参数调整的工具。

Jan, 2023

本文提出采样压缩序列作为一种学习算法的抽象形式，并回答了问题：每个概念类别 C 具有 VC 维度 d 的序列都具有指数大小的采样压缩序列，这得益于对 VC 维下二进制矩阵的逼近极小现象。

Mar, 2015

本文旨在从参数化复杂度的角度，探究枚举计算复杂度和算法问题，首先定义了不同的枚举概念，然后运用不同算法，例如核函数和自减技术，从而得到参数有效的枚举算法，并且通过核函数的概念，对固定参数极易枚举的问题进行了表述。

Jun, 2013

通过压缩模型，平衡泛化误差的减小和经验风险的增加，从而证明模型压缩可以提高预训练模型的总体风险，同时推荐使用 Hessian-weighted K-means 聚类压缩方法进行正则化，通过神经网络的实验进一步验证了理论结论。

Jan, 2019

探讨通信成本优化的异构和联邦学习中用于向量压缩的不确定性原理和 Kashin 压缩方案。

Feb, 2020

我们将理解过程视为信息压缩，并提出了一种基于无损数据压缩的大型语言模型（LLMs）排序方法。我们使用五个大型语言模型作为压缩的先验，并比较它们在困难的自然语言处理任务中的性能，包括句子完成、问题回答和共指消解。实验结果表明，压缩比率和模型性能呈正相关，因此可以作为评估大型语言模型的通用指标。

Jun, 2024

延迟记忆之后的泛化现象被归因于压缩。为了证明这一点，我们定义了线性映射数（LMN）来衡量网络复杂度，它是针对 ReLU 网络的线性区域数的一般化版本。LMN 可以很好地描述泛化前的神经网络压缩。尽管 L2 范数一直是描述模型复杂度的流行选择，但我们提出 LMN 的原因有很多：（1）LMN 可以自然地解释为信息 / 计算，而 L2 范数不能；（2）在压缩阶段，LMN 与测试损失呈线性关系，而 L2 范数与测试损失之间的关系非常复杂且非线性；（3）LMN 还揭示了 XOR 网络在两个泛化解之间切换的有趣现象，而 L2 范数却没有。除了解释 grokking 外，我们认为 LMN 是作为神经网络版的科尔莫哥洛夫复杂性的一个有希望的候选，因为它明确地考虑到与现代人工神经网络的性质相一致的局部或有条件的线性计算。

Oct, 2023

本研究针对极端分类，基于 Sandwich 定理构建了一个样本压缩方案，其尺寸等于其 VC 维度，并提出了一些有关极端分类的组合结构和无标签压缩方案存在性的问题。

May, 2015

介绍了一种名为 LeCo（Learned Compression）的轻量级数据压缩框架，使用机器学习自动消除列中的串行冗余，实现了杰出的压缩比和解压性能，将现有算法纳入其框架下成为其特殊情况，实现了 Pareto 改进

Jun, 2023