本文提出了一种基于神经网络的数据效率更高的 Mutual Information 估计方法 DEMINE，通过放松预测 MI 下限来提高数据效率，并采用任务扩充方法 Meta-DEMINE 进一步优化其推广性和估计准确性，可用于实际数据集大小的统计依赖性检测。

May, 2019

提出了一种更快的方法，称为互信息神经熵估计（MI-NEE），其将互信息估计变为估计熵的过程，通过使用自定义参考分布和选择均匀分布作为参考分布来实现更快的收敛。

May, 2019

论文提出并实现了一种新的基于神经网络的相互信息估计方法，该方法能够有效地减少方差并针对基准测试任务展现出更好的偏差 - 方差权衡性能。

Oct, 2019

在密码学领域中，我们提出了一种全新的方法来估计明文和密文之间的互信息，通过应用神经网络来评估密码系统的效率，并分析了多种加密方案和基准方法的效果，同时探讨了信息泄漏与输入分布之间的关系。

Sep, 2023

本研究对目前文献提出的神经互信息估计器如 MINE、SMILE、DINE 进行了对比评估，以探讨它们在容量估计方面的表现和应用效果。

Nov, 2021

通过得分估计隐式分布，我们提出了互信息梯度估计器（MIGE），用于基于 InfoMax 和信息瓶颈方法的无监督学习深层表示，并扩展了 MIGE 的应用。在高维和大 MI 设置下，MIGE 表现出紧密和平滑的 MI 梯度估计，并且实验结果表明了学习有效表示的显着性能提高。

May, 2020

本文提出了基于高斯混合模型的互信息估计算法 GMM-MI， 经验证其在深度学习模型的可解释性研究中表现良好，可用于评估自编码的潜在空间中变量的分离度和与物理量的相关性分布。

Oct, 2022

通过基于 Girsanov 定理的新方法，我们提出了一种估计随机变量之间互信息（MI）的方法。我们的方法基于分数函数的扩散模型来估计两个密度之间的 Kullback Leibler 散度，并衍生出估计随机变量熵的方法。我们的结果表明，我们的方法在挑战性分布情况下比文献中的主要替代方法更准确，并通过自洽性测试，包括数据处理和独立性下的可加性。

Oct, 2023

通过梯度下降和神经网络，本研究提出了一种名为 InfoQGAN 的新方法，将相互信息神经估计器（MINE）和量子生成对抗网络结合起来，解决了模式坍缩问题，并应用于金融场景中的动态资产配置，展示了 InfoQGAN 在实际应用中的潜在实用性。

Sep, 2023

本文构建了一个多样的分布族，展示了语言无关基准平台用于互信息估计器的实用性和局限性，并提出了适应问题困难度的适当估计器的选择指南及应用估计器时需要考虑的问题。

Jun, 2023