每个学习二进制假设类都具有有限的 VC 维度且可采用一个与 VC 维度无关的有限函数大小的样本压缩方案，然而，每个学习多类假设类都具有有限的 DS 维度且不具有一个与 DS 维度无关的有限函数大小的样本压缩方案。

Aug, 2023

探讨列表学习在 PAC 学习中的适用性，研究了与泛化相关的经典原理，特别侧重于一致收敛和样本压缩对于学习可行性的影响，并证明了一致收敛在列表 PAC 学习中与可学习性等价，同时发现了样本压缩的一些令人吃惊的结果。

Mar, 2024

本文提出了一种新的理论，可以控制压缩函数（称为 “风险” 的压缩函数的改变概率），并证明了压缩集合的基数是风险的一致估计量的条件。结果可用于不需要先验知识的全面无偏配置中。这些结果不仅可用于完全了解驱动方法的信任，而且在学习技术中，还可以作为超参数调整的工具。

Jan, 2023

研究了在所有可计算标签函数中的学习，证明了这是可能的，但也表明了无法独立于分布地限制样本复杂度，这完全是由于学习算法可计算的要求，而不是统计问题的本性。

Jun, 2008

近期的学习研究显示，学习问题的可学习性可能是不可判定的，或者与标准集合论的 ZFC 公理无关。此外，这些问题的可学习性可能不是有限特性：简单来说，通过检查问题的有限投影无法检测出可学习性。然而，学习理论在定义学习的维度时充斥着只考虑问题的有限限制的概念，即具有有限特性的性质。如何调和这些结果呢？具体而言，哪些学习问题容易受到逻辑不可判定性的影响，哪些问题可以用有限特性来解决？我们证明了具有测度损失的监督学习的困难可以通过有限特性来精确描述。尤其是我们证明了学习一个假设类的样本复杂度可以通过检查其有限投影来判断。对于广泛类别的适当损失函数的可实现和了解学习，我们证明了一个确切的紧致性结果：一个类别在具有给定样本复杂度时可以学习，仅当其所有有限投影也是如此。对于具有不适当损失函数的可实现学习，我们证明了样本复杂度的确切紧致性可能会失败，并提供了样本复杂度相差 2 倍的相匹配上下界。我们猜想对于了解学习的情况可能存在更大的差距。我们技术工作的核心是一个关于变量分配的紧致性结果，它在保持函数类别在目标值以下方面具有广泛的兴趣，该结果推广了霍尔（Hall）经典匹配定理，可能具有独立的兴趣。

Feb, 2024

本文提出采样压缩序列作为一种学习算法的抽象形式，并回答了问题：每个概念类别 C 具有 VC 维度 d 的序列都具有指数大小的采样压缩序列，这得益于对 VC 维下二进制矩阵的逼近极小现象。

Mar, 2015

对于分布学习问题，我们研究了可学习性和鲁棒（或不可知）可学习性之间的关系，发现与其他学习设置（例如函数类的 PAC 学习）相反，概率分布类的可实现学习性并不意味着其不可知可学习性。我们进一步研究了什么样的数据损坏可以破坏分布类的可学习性以及该可学习性对于怎样的损坏是鲁棒的。结果表明，概率分布类的可实现学习性仅对加性损坏具有鲁棒性，而不具备对减性损坏的鲁棒性。我们还探索了与压缩方案和差分隐私可学习性相关的含义。

Jun, 2024

设计高效的统计监督学习算法的一大挑战是找到不仅在可用训练样本上表现良好，也在未知数据上表现良好的表示方法。本文建立了一个压缩性框架，通过标签或潜在变量（表示）的 “最小描述长度”（MDL）来推导表示学习算法的泛化误差的上界。通过与固定先验的训练集和测试集的表示（或标签）分布之间的 “多字母” 相对熵，而不是通常认为反映算法泛化能力的编码器输入和表示之间的互信息，建立了新的界限。本文的压缩性方法是信息论的，基于 Blum-Langford 的 PAC-MDL 界限，并引入了两个关键因素：块编码和有损压缩。最后，本文通过引入新的数据依赖性先验，部分利用了理论结果。数值模拟展示了选择良好的先验与 IB 中使用的经典先验相比的优势。

Feb, 2024

本文研究了压缩对机器学习中的随机梯度算法的影响，重点分析了几种无偏压缩算子的收敛速度差异，并延伸到联邦学习领域。

Aug, 2023

本文研究了一个基于样本压缩界限的多类学习算法的贝叶斯一致性，并证明了在度量空间有限两倍维度的情况下，该算法是强贝叶斯一致的，甚至在某些无限维情况下也是连贯的，这是一项有趣的发现，当前存在几个值得研究的问题。

May, 2017