本文研究了从记录的上下文、决策和结果中估计单个患者对替代药物的反应的个体层面因果效应的估计，并给出了基于不同治疗组之间的距离度量的误差的概括界限，引导了表示学习算法的开发，该算法通过规范化表示的诱导治疗组距离，鼓励治疗组之间信息的共享来最小化误差的界限。最后，对真实和合成数据的实验评估表明了所提出的表示架构和规范化方案的价值。

Jan, 2020

本文提出了一个统一框架，用以解决在各种不同情况下发生未观测混淆的因果敏感度分析问题，包括（条件）平均处理效应、中介分析和路径分析的效应，以及分布效应，同时还提供了一个可伸缩的算法来估计我们从观测数据中所得到的尖锐界限。

May, 2023

通过利用基于联合倾向性评分的重新加权模式和基于积分概率度量的表示学习模式，在网络情景中推导出因果效应估计的泛化界限，从而支持减轻复杂的混淆偏差并在原则性上指导学习目标的设计，通过分析泛化界限提出一种基于联合倾向性评分和表示学习的加权回归方法，并在两个真实网络的半合成数据上进行广泛实验，验证了算法的有效性。

Aug, 2023

通过数据相关的广义界限，证明了健壮性意味着泛化。我们提出了几个例子，包括 Lasso 和深度学习，证明了我们的界限是明显优于以前的界限的。技术创新包括针对多项式随机变量的改进的浓缩界限。

Jun, 2022

神经网络在超参数化设置中的泛化界限无法达到紧致性，除非在总体分布上具备合适的假设。

Sep, 2023

研究了具有有界更新的迭代学习算法在非凸损失函数上的泛化特性，采用信息论技术。我们的主要贡献是针对具有有界更新的这些算法提出了新的泛化误差界，超出了之前仅关注随机梯度下降（SGD）的范畴。我们的方法引入了两个新颖之处：1）我们将互信息重新表述为更新的不确定性，提供了新的视角；2）我们采用方差分解技术来分解迭代中的信息，而不是使用互信息的链式法则，从而实现了一个更简单的替代过程。我们在不同设置下分析了我们的泛化界，并展示了当模型维度与训练数据样本数量以相同的速率增加时改进的界限。为了弥合理论与实践之间的差距，我们还研究了大型语言模型中先前观察到的标度行为。最终，我们的工作为发展实用的泛化理论迈出了更进一步的步伐。

Sep, 2023

文中提出了一种利用概率去相关引理、对测度空间中的的概率测度进行对称化、配对和链化等技术来获得学习算法信息论泛化界限的一般性方法，进而得到新的期望值和高概率条件下泛化误差的上界，特别地，还包括了基于互信息、条件互信息、随机链和 PAC-Bayes 不等式等现有泛化界限的特例。此外，Fernique-Talagrand 上界也是一个特例。

May, 2023

本文首次在信息理论的背景下，为传导学习算法开发了数据相关性和算法相关性的一般化界限。我们表明传导学习算法的一般化差距可以通过训练标签和假设之间的互信息来限制。通过创新性地提出传导超样本的概念，我们超越归纳学习设置，并建立了各种信息测量的上界。此外，我们派生了新颖的 PAC-Bayesian 界限，并建立了传导学习环境下一般化与损失曲面平坦性之间的联系。最后，我们提出了自适应优化算法的上界，并展示了在半监督学习和图学习场景中的应用结果。我们的理论结果在合成数据集和真实世界数据集上得到验证。

Nov, 2023

利用信息论推导出监督学习算法的泛化误差的信息熵上界，能够更全面地考虑损失函数的条件，并且在应用于嘈杂和迭代算法时能够给出比现有结果更紧密的泛化误差表征。

Jan, 2019

本研究提出了关于深度学习的泛化误差的准则，介绍了一种基于边际似然的 PAC-Bayesian Bound 方法来预测泛化误差，并进行了广泛实证分析以评估该方法的效果和特性。

Dec, 2020