本文提出了一种基于神经网络的数据效率更高的 Mutual Information 估计方法 DEMINE，通过放松预测 MI 下限来提高数据效率，并采用任务扩充方法 Meta-DEMINE 进一步优化其推广性和估计准确性，可用于实际数据集大小的统计依赖性检测。

May, 2019

本文提出了基于分类器和生成模型的方法来解决条件互信息估计中高维造成的维度灾难问题，并使用提出的方法来进行条件独立性检验，相比于现有方法取得了优越的表现。

Jun, 2019

通过引入条件互信息（CMI）和归一化条件互信息（NCMI）的概念，以测量分类深度神经网络（DNN）在 DNN 的输出概率分布空间中的聚集和分离性能，其中 CMI 和 CMI 与 NCMI 之间的比率分别表示 DNN 的类内聚集和类间分离。通过使用 NCMI 来评估在文献中在 ImageNet 上预训练的流行 DNNs，在 ImageNet 验证数据集上的验证准确率与其 NCMI 值或多或少成反比的关系得出。基于这一观察，还对标准深度学习（DL）框架进行了修改，以在 NCMI 约束条件下最小化标准交叉熵函数，从而得到了 CMI 约束深度学习（CMIC-DL）。提出了一种新颖的交替学习算法来解决这种约束优化问题。大量实验结果显示，在 CMIC-DL 中训练的 DNN 在准确性和对抗性攻击的鲁棒性方面，优于标准 DL 和文献中其他损失函数训练的最先进模型。此外，还提倡通过 CMI 和 NCMI 的演变来可视化学习过程。

Sep, 2023

在密码学领域中，我们提出了一种全新的方法来估计明文和密文之间的互信息，通过应用神经网络来评估密码系统的效率，并分析了多种加密方案和基准方法的效果，同时探讨了信息泄漏与输入分布之间的关系。

Sep, 2023

通过基于 Girsanov 定理的新方法，我们提出了一种估计随机变量之间互信息（MI）的方法。我们的方法基于分数函数的扩散模型来估计两个密度之间的 Kullback Leibler 散度，并衍生出估计随机变量熵的方法。我们的结果表明，我们的方法在挑战性分布情况下比文献中的主要替代方法更准确，并通过自洽性测试，包括数据处理和独立性下的可加性。

Oct, 2023

本文提出了基于高斯混合模型的互信息估计算法 GMM-MI， 经验证其在深度学习模型的可解释性研究中表现良好，可用于评估自编码的潜在空间中变量的分离度和与物理量的相关性分布。

Oct, 2022

提出分解估计互信息 (Decomposed Estimation of Mutual Information, DEMI) 方法，在视觉领域和对话生成方面获得更好的表示表现，该方法通过将视图分解为逐渐更具信息的子视图来估计 MI，同时应用 Chian 规则简化了 MI 的估计过程。

Jun, 2021

该论文提出了一个信息理论框架来研究机器学习算法的泛化性能，利用条件互信息量化算法输出和训练数据之间的关系，并提出基于 VC 维、压缩方案、差分隐私等方法来获得有界的条件互信息，从而得出泛化的各种形式。

Jan, 2020

我们提出了一种新的较低计算复杂度的非参数 MI 估计方法 - Ensemble Dependency Graph Estimator (EDGE)，并证明当密度可微分时可以达到理论最优渐近均方误差收敛速度，并显示其用于信息平面和深度学习中的实用性。

Jan, 2018

本文提出了互信息神经估计（MINE），利用神经网络通过梯度下降来估计高维连续随机变量之间的互信息，并使用 MINE 来改进对抗训练的生成模型，并应用信息瓶颈来进行监督分类，实现了灵活性和性能的显著提高。

Jan, 2018