本文介绍信息论在统计估计不可能性问题上的应用，针对 Fano's inequality 及其变体进行详尽探讨，提供了一些关键工具和方法，并给出了若干具体实例，包括了分组测试、图形模型选择、稀疏线性回归、密度估计和凸优化等。

Jan, 2019

该研究在信息论领域对 Fano 不等式进行了两个扩展，一个在估计中提供了与数量距离 $t$ 内的估计器的概率下限，第二个提供了基于体积的连续形式下限，并且证明了这些不等式可用于几个统计极小值下限的简单证明。

Nov, 2013

本论文提出了一种集成多样性理论，阐明了多样性的本质及对各种监督学习场景的影响，揭示了多样性是集合偏差方差分解中的一个隐含维度，同时提供了一种自动识别可使偏差方差多样性分解成立的组合规则的方法。在此基础上，实验进一步说明了我们可以用该框架来理解当前流行的集成方法。

Jan, 2023

文中提出了一种利用概率去相关引理、对测度空间中的的概率测度进行对称化、配对和链化等技术来获得学习算法信息论泛化界限的一般性方法，进而得到新的期望值和高概率条件下泛化误差的上界，特别地，还包括了基于互信息、条件互信息、随机链和 PAC-Bayes 不等式等现有泛化界限的特例。此外，Fernique-Talagrand 上界也是一个特例。

May, 2023

本研究提出了一种基于信息理论的泛化误差上界方法，用以控制模型的输入输出互信息，进而指导在数据适配和泛化之间寻找平衡点。在此基础上，我们探索了一些方法，包括利用相对熵或随机噪声来正则化 ERM 算法等。这些方法扩展和改进了 Russo 和 Zou 的最近工作。

May, 2017

本文通过介绍新的多样性度量方法介绍了一种新的模型集成方法，该方法特别适用于数据限制和协变量转移，可显著提高模型的多样性和泛化性能。

Nov, 2019

本文研究了集成技术在机器学习中的广泛应用，特别是在神经网络中多样性的确切角色、如何衡量它以及它如何促进神经网络集成算法的研究。在三种常用的损失函数和两种常用的模型组合策略的基础上，通过神经网络集成进行了实证验证。

Oct, 2021

本研究通过重新审视集成学习中的误差分解方法，将其应用于神经网络作为基础学习器的集成学习算法的开发，利用最新的理论框架和方法，设计了 21 种新的集成算法，并证明了其中大部分方法在多样化数据集上具有优越的预测性能。

Feb, 2024

在电子招聘和在线约会等环境中，推荐涉及分配有限的机会，需要新的方法来量化和强制公平。本文引入了一种新的（不）公平度量指标 —— 劣势，用于衡量用户在推荐商品中的竞争劣势。劣势与羡慕（一种衡量对他人推荐的偏好）相结合，并使用与准确性相关的聚合相关性分数的效用，通过概率解释的推荐系统来重构这些度量指标，从而产生可微分的版本。我们在标准推荐系统的后处理中应用这些损失函数于多目标优化问题中，称为通过羡慕和劣势减少实现公平性（FEIR）。对合成和真实数据的实验证明，与朴素推荐和基准方法相比，我们的方法改善了劣势，羡慕和效用之间的权衡。

Nov, 2023

这篇论文提供了针对分布式学习、联邦学习和经典机器学习的信息理论框架，同时研究了这些学习范式中的一般化误差和隐私泄露的上下界限制。

May, 2020