通过 Gibbs 算法分析联合训练元学习算法的泛化能力，其中对元 Gibbs 算法的预期元泛化误差进行了精确刻画，基于对称 KL 信息度量所有元训练数据集和输出参数（包括特定任务和元参数）之间的依赖性。此外，我们还推导出了超任务 Gibbs 算法的元泛化误差的精确刻画，以超样本和超任务框架为基础。我们的结果还使我们能够为这些 Gibbs 算法提供新的分布自由泛化误差上界，适用于元学习。

Apr, 2023

本研究对基于 Gibbs 的转移学习算法的泛化能力进行了信息论分析，结果表明转移学习的好处可以看作是源分布引起的偏差和目标样本不足引起的方差的权衡。

Nov, 2021

利用信息论推导出监督学习算法的泛化误差的信息熵上界，能够更全面地考虑损失函数的条件，并且在应用于嘈杂和迭代算法时能够给出比现有结果更紧密的泛化误差表征。

Jan, 2019

研究了具有有界更新的迭代学习算法在非凸损失函数上的泛化特性，采用信息论技术。我们的主要贡献是针对具有有界更新的这些算法提出了新的泛化误差界，超出了之前仅关注随机梯度下降（SGD）的范畴。我们的方法引入了两个新颖之处：1）我们将互信息重新表述为更新的不确定性，提供了新的视角；2）我们采用方差分解技术来分解迭代中的信息，而不是使用互信息的链式法则，从而实现了一个更简单的替代过程。我们在不同设置下分析了我们的泛化界，并展示了当模型维度与训练数据样本数量以相同的速率增加时改进的界限。为了弥合理论与实践之间的差距，我们还研究了大型语言模型中先前观察到的标度行为。最终，我们的工作为发展实用的泛化理论迈出了更进一步的步伐。

Sep, 2023

本研究提出了一种基于信息理论的泛化误差上界方法，用以控制模型的输入输出互信息，进而指导在数据适配和泛化之间寻找平衡点。在此基础上，我们探索了一些方法，包括利用相对熵或随机噪声来正则化 ERM 算法等。这些方法扩展和改进了 Russo 和 Zou 的最近工作。

May, 2017

本文证明了当损失函数为亚高斯函数时，基于互信息计算的以经验风险最小化为主要准则的监督机器学习算法对训练数据过拟合的泛化误差上界，此外还探究了噪声受限的迭代算法的泛化误差上界。

Jan, 2018

现有的监督学习泛化理论通常采用整体方法，并提供整个数据分布的期望泛化界限，这暗示了模型对所有类别的泛化情况相似。然而，在实践中，不同类别之间的泛化性能存在显著差异，这不能被现有的泛化界限所捕捉。本文通过在理论上研究类别泛化误差来解决这个问题，该误差量化了每个个体类别的泛化性能。我们使用 KL 散度推导出了一种新的信息论界限来度量类别泛化误差，并进一步利用条件互信息 (CMI) 获得了几个更紧的界限，这在实践中更容易估计。我们在不同的神经网络中经验证实了我们提出的界限能准确捕捉复杂的类别泛化误差行为。此外，我们还展示了本文所开发的理论工具能够应用在其他多个领域。

Jan, 2024

该论文提出了一种基于信息理论的方法，使用内核化的 Renyi 熵刻画了随机梯度下降算法的学习效率，实现了更紧密的泛化误差界限。

May, 2023

文中提出了一种利用概率去相关引理、对测度空间中的的概率测度进行对称化、配对和链化等技术来获得学习算法信息论泛化界限的一般性方法，进而得到新的期望值和高概率条件下泛化误差的上界，特别地，还包括了基于互信息、条件互信息、随机链和 PAC-Bayes 不等式等现有泛化界限的特例。此外，Fernique-Talagrand 上界也是一个特例。

May, 2023

该研究介绍了将最坏情况下的概率度量引入数据中，以表征机器学习算法的泛化能力。最坏情况下的概率度量是 Gibbs 概率度量，并且是相对熵约束下期望损失最大化的唯一解。该研究还通过最坏情况下的数据生成概率度量得出了基本的泛化度量指标，例如期望损失的敏感性、经验风险的敏感性和泛化差距，并恢复了 Gibbs 算法的现有结果，将泛化差距的特征化表述为互信息和劳特纳信息之和。而最坏情况下的数据生成概率度量和 Gibbs 算法之间建立了一种新的类比关系，具体而言，Gibbs 概率度量被确定为模型空间和数据空间的机器学习算法的基本共性。

Dec, 2023