训练神经网络的差分熵估计器
本文提出了一种基于神经网络的数据效率更高的 Mutual Information 估计方法 DEMINE，通过放松预测 MI 下限来提高数据效率，并采用任务扩充方法 Meta-DEMINE 进一步优化其推广性和估计准确性，可用于实际数据集大小的统计依赖性检测。
May, 2019
通过基于 Girsanov 定理的新方法，我们提出了一种估计随机变量之间互信息（MI）的方法。我们的方法基于分数函数的扩散模型来估计两个密度之间的 Kullback Leibler 散度，并衍生出估计随机变量熵的方法。我们的结果表明，我们的方法在挑战性分布情况下比文献中的主要替代方法更准确，并通过自洽性测试，包括数据处理和独立性下的可加性。
Oct, 2023
本文提出了基于高斯混合模型的互信息估计算法 GMM-MI， 经验证其在深度学习模型的可解释性研究中表现良好，可用于评估自编码的潜在空间中变量的分离度和与物理量的相关性分布。
Oct, 2022
提出了一种更快的方法，称为互信息神经熵估计（MI-NEE），其将互信息估计变为估计熵的过程，通过使用自定义参考分布和选择均匀分布作为参考分布来实现更快的收敛。
May, 2019
DINE 是一种估算连续随机变量条件互信息的新方法，通过变换使目标变量用更简单的分布替代，从而能够有效地评估条件互信息，并在估算互信息，条件互信息和条件独立性测试等三个任务中表现出比竞争对手更好的性能。
Nov, 2022
我们提出了一种新的较低计算复杂度的非参数 MI 估计方法 - Ensemble Dependency Graph Estimator (EDGE)，并证明当密度可微分时可以达到理论最优渐近均方误差收敛速度，并显示其用于信息平面和深度学习中的实用性。
Jan, 2018
提出分解估计互信息 (Decomposed Estimation of Mutual Information, DEMI) 方法，在视觉领域和对话生成方面获得更好的表示表现，该方法通过将视图分解为逐渐更具信息的子视图来估计 MI，同时应用 Chian 规则简化了 MI 的估计过程。
Jun, 2021
本文提出了互信息神经估计（MINE），利用神经网络通过梯度下降来估计高维连续随机变量之间的互信息，并使用 MINE 来改进对抗训练的生成模型，并应用信息瓶颈来进行监督分类，实现了灵活性和性能的显著提高。
Jan, 2018
本文提出了一种加权仿射组合的概率密度估计方法，通过求解一个离线的凸优化问题来确定权重，从而获得一个在维数上具有维度不变性的估计器，该方法在实际应用中表现出优越的性能。
Mar, 2012