通过互信息进行结构学习
本文讨论自监督学习中互信息最大化方法的局限性，并提出了在特征提取器架构和互信息估算器参数化中彰显归纳偏置的重要性，并展示了这种方法的成功与深度度量学习之间的联系。
Jul, 2019
引入 Mutual Information Machine (MIM)，一种概率自编码器，用于学习观测和潜变量的联合分布。MIM 反映了三个设计原则：低散度、高互信息和低边际熵，这有助于学习聚类潜在表示。与极大似然法和变分自编码器 (VAE) 相比，实验表明，MIM 通过避免后验崩溃，学习具有高互信息和一致的编码和解码分布的表征。
Oct, 2019
利用信息论的有关发现，我们提出了一种新的端到端优化策略，该策略同时估计和最小化学习表示和数据属性之间的互信息，通过这种策略，我们的模型在标准基准测试中表现出与最先进的方法相当或优越的分类性能，此方法可应用于问题的“算法公平性”，并得到了竞争性的结果。
Mar, 2020
该论文介绍了信息瓶颈理论作为一种信息理论范例来分析机器学习中使用深度学习等算法进行降维操作的有效性，并总结了其在深度学习理论中的重要性和实际算法的启示。
Apr, 2020
本论文研究广义独立性、熵、互信息和总相关度等集合上的组合信息度量，这些度量通过子模函数进行参数化，严格推广了相应的熵度量。我们证明，对于大类满足一种非负性条件的子模函数，与另一个参数固定的情况下，子模互信息实际上是一种子模函数。我们将这种度量与分类，可靠分区和物品覆盖等问题联系起来。
Jun, 2020
该论文提出了一种名为贝叶斯互信息的新框架，它从贝叶斯代理的角度分析信息，使得在有限数据情况下处理可以帮助增加信息的同时也有可能削减信息，更加符合机器学习应用的直觉，最终将该框架运用到探针任务中，通过限制可用背景知识来实现抽取的易于性。
Sep, 2021
我们引入互信息作为衡量合成数据集与真实数据集之间共享信息量的度量标准，并通过对比学习框架内的新设计的可优化目标来数值化地最大化互信息，从而更新合成数据集。实验证明，这种方法可以作为现有先进方法的附加模块来实现数据集精简。
Dec, 2023
我们从信息论的角度提出了有关编码器-解码器设计在机器学习中发挥作用的新结果，使用信息充分性和互信息损失来表示机器学习中的预测结构，并使用香农的信息度量为表示学习提供了新的解释。
May, 2024
本研究解决了互信息估计中存在的困难问题，提出了一种新的估计方法。关键发现是，通过初步估计数据分布，可以显著提升互信息的估计准确性。实验结果表明，该方法在多项任务中具有明显优势，包括非高斯合成问题和现实应用。
Aug, 2024