本文提出了一种基于非参数估计和广义最近邻图的计算Renyi熵和互信息的算法，证明了这种算法的几乎必然一致性和上限的收敛速度，并在实验中展示了其在独立子空间分析中的实用性。

Mar, 2010

本文研究了基于$KSG$估计的互信息估计中，样本数对偏差收敛速度的影响，发现了$KSG$估计器的优越性能来源于“相关性提升”效应，并通过改进$KSG$估计器构建出更优秀的估计器。

Apr, 2016

本文提出了互信息神经估计（MINE），利用神经网络通过梯度下降来估计高维连续随机变量之间的互信息，并使用MINE来改进对抗训练的生成模型，并应用信息瓶颈来进行监督分类，实现了灵活性和性能的显著提高。

Jan, 2018

本文证明了任何互信息测量方法都有严重的统计限制，证明了从N个样本估计的任何分布自由、高置信度的互信息的下限均不能超过O(ln N)。

Nov, 2018

论文提出并实现了一种新的基于神经网络的相互信息估计方法，该方法能够有效地减少方差并针对基准测试任务展现出更好的偏差-方差权衡性能。

Oct, 2019

本论文研究广义独立性、熵、互信息和总相关度等集合上的组合信息度量，这些度量通过子模函数进行参数化，严格推广了相应的熵度量。我们证明，对于大类满足一种非负性条件的子模函数，与另一个参数固定的情况下，子模互信息实际上是一种子模函数。我们将这种度量与分类，可靠分区和物品覆盖等问题联系起来。

Jun, 2020

本文构建了一个多样的分布族，展示了语言无关基准平台用于互信息估计器的实用性和局限性，并提出了适应问题困难度的适当估计器的选择指南及应用估计器时需要考虑的问题。

Jun, 2023

通过基于Girsanov定理的新方法，我们提出了一种估计随机变量之间互信息（MI）的方法。我们的方法基于分数函数的扩散模型来估计两个密度之间的Kullback Leibler散度，并衍生出估计随机变量熵的方法。我们的结果表明，我们的方法在挑战性分布情况下比文献中的主要替代方法更准确，并通过自洽性测试，包括数据处理和独立性下的可加性。

Oct, 2023

本文研究相互信息、逐点相互信息轮廓、多元正态分布、蒙特卡洛方法，该研究还使用精细分布来研究现有相互信息估计器的局限性、变分估计器中使用的神经评论家的行为以及实验异常值对相互信息估计的影响，并展示了如何使用精细分布来获得基于模型的贝叶斯估计的相互信息，适用于具有领域专业知识且需要不确定性量化的问题。

Oct, 2023

本研究解决了互信息估计中存在的困难问题，提出了一种新的估计方法。关键发现是，通过初步估计数据分布，可以显著提升互信息的估计准确性。实验结果表明，该方法在多项任务中具有明显优势，包括非高斯合成问题和现实应用。

Aug, 2024