用输入训练数据和输出假设之间的对称 KL 信息，精确表征了著名 Gibbs 算法的期望泛化误差，并分析了其对控制泛化误差的基本作用。

Jul, 2021

通过 Gibbs 算法分析联合训练元学习算法的泛化能力，其中对元 Gibbs 算法的预期元泛化误差进行了精确刻画，基于对称 KL 信息度量所有元训练数据集和输出参数（包括特定任务和元参数）之间的依赖性。此外，我们还推导出了超任务 Gibbs 算法的元泛化误差的精确刻画，以超样本和超任务框架为基础。我们的结果还使我们能够为这些 Gibbs 算法提供新的分布自由泛化误差上界，适用于元学习。

Apr, 2023

本文研究了迁移学习中的广义化误差和 excess risk 问题，提出了一种信息论分析方法。结果表明 Kullback-Leibler divergence 在特定环境中能很好地描述广义化误差，我们还将结果推广到一种特定的经验风险最小化算法中。同时，该方法在迭代，噪声梯度下降算法中有潜在的应用。

May, 2020

本研究提出了一种基于信息理论的泛化误差上界方法，用以控制模型的输入输出互信息，进而指导在数据适配和泛化之间寻找平衡点。在此基础上，我们探索了一些方法，包括利用相对熵或随机噪声来正则化 ERM 算法等。这些方法扩展和改进了 Russo 和 Zou 的最近工作。

May, 2017

本研究通过对 Gibbs-ERM 学习的实验，得出使用正则化经验风险的 Gibbs-ERM 学习器所遭受的过度风险并受数据生成分布和大假设空间影响的分布依赖上界受有效维度控制，这对于研究技术至关重要。

Feb, 2019

本文介绍了一种名为广义重加权算法（GRW）的类别，它通过迭代地重新加权训练样本来更新模型参数。我们发现在采用 GRW 算法的过拟合模型下，所得到的模型与采用 Empirical risk minimization 得到的模型非常相似。此外，在 GRW 算法不使用小规则化方法的情况下，得到的结果也是不尽如人意的，我们需要更多的探索与研究。

Jan, 2022

该研究使用算法传输成本的期望 Wasserstein 距离得到了学习算法泛化误差的上界，为通过最优传输视图研究学习算法的泛化提供了新途径并对损失函数施加了较少的限制，并通过总变差距离、相对熵和 VC 维度提供了几个其他的算法传输成本的上界，最后基于我们的建立的框架，我们分析了深度学习中的泛化误差并得出了结论：深度神经网络中的泛化误差随着层数的增加而指数级下降。

Nov, 2018

本文介绍了一种基于信息理论的上限，以测量源和目标数据分布之间的差异，并将模型对每一个数据集样本的敏感性考虑在内。同时，对于加权风险最小化问题，提出了一种新的平均传输超额风险的上限。

Oct, 2020

该论文提出了一种基于信息理论的方法，使用内核化的 Renyi 熵刻画了随机梯度下降算法的学习效率，实现了更紧密的泛化误差界限。

May, 2023

现有的监督学习泛化理论通常采用整体方法，并提供整个数据分布的期望泛化界限，这暗示了模型对所有类别的泛化情况相似。然而，在实践中，不同类别之间的泛化性能存在显著差异，这不能被现有的泛化界限所捕捉。本文通过在理论上研究类别泛化误差来解决这个问题，该误差量化了每个个体类别的泛化性能。我们使用 KL 散度推导出了一种新的信息论界限来度量类别泛化误差，并进一步利用条件互信息 (CMI) 获得了几个更紧的界限，这在实践中更容易估计。我们在不同的神经网络中经验证实了我们提出的界限能准确捕捉复杂的类别泛化误差行为。此外，我们还展示了本文所开发的理论工具能够应用在其他多个领域。

Jan, 2024