本文提出了一种可扩展的方法，通过信息筛分解和简单的迭代过程，解决 Wyner 公共信息问题。该方法在高维度学习问题上比标准方法表现更好，并成功地恢复了大脑成像数据中的结构。

Jun, 2016

本文提出一种新的多元信息量度方法，利用 Venn 图表明任意数量随机变量的信息内容，其基于信息共享的代数结构，考虑观察者共享信息的不同方式与不同阶数的信息关系，得到一种自由分配格的元素。通过联合信息和共享信息量的代数结构，得到了偏向分解所表示的冗余格。

Sep, 2019

通过使用去噪扩散模型，我们可以条件生成和密度建模复杂关系，如图像和文本，并通过信息分解揭示学到的细粒度关系，进而提出了许多应用，包括无监督定位图像中的目标和选择性编辑图像时的影响测量。

Oct, 2023

基于信息瓶颈的方法能够明确地识别与预测未来相关性最高的变量，为模型简化提供了基础，并可通过解析关系构建可解释的深度学习工具。在天气系统和卫星电影领域验证了该方法的有效性。

Dec, 2023

本文通过对原始数据进行变量选择，提出一种基于互信息度量的方法，通过选择出与模型输出存在信息联系的重要变量，以达到同时降低模型复杂度、提高模型泛化能力、增强模型解释性的目的。

Sep, 2007

提出了一个信息论框架，将原子尺度模拟、机器学习和统计力学结合起来，通过建立相图、识别稀有事件、对数据集进行优化、以及进行模型无关的不确定性量化，统一描述了原子尺度建模中的信息相关问题。

Apr, 2024

提出了一种在大型网络中估计信息关系的实用方法，可以可靠地估计互信息和多个信息项，并通过基因表达、金融市场和消费者偏好等领域的分析加以说明。

Feb, 2005

我们从信息论的角度提出了有关编码器 - 解码器设计在机器学习中发挥作用的新结果，使用信息充分性和互信息损失来表示机器学习中的预测结构，并使用香农的信息度量为表示学习提供了新的解释。

May, 2024

研究多变量情况下信息理论的推广，提出新的冗余定义及局部信息原子的概念，以此完整且清晰地描述多元信息，避免交互信息产生的问题并让信息量具有明确的解释。

Apr, 2010

本文提供了一种新的通过合并变分推理和深度学习技术以扩展优化相互信息的方法，该方法可用于从像素到动作的可伸缩信息最大化和基于赋权的推理。

Sep, 2015