本文介绍了深度聚类中相互信息作为无监督训练神经网络的客观标准的最大化并不能得到令人满意的聚类结果，并将核心距离更改为常见的挑战导致的原因。因此，我们通过引入广义相互信息 (GEMINI) 来推广相互信息，它是一组用于无监督神经网络训练的指标。与相互信息不同，一些 GEMINI 在训练时不需要正则化，因为它们在数据空间中具有几何意识的距离或核函数。最后，我们强调 GEMINI 可以自动选择相关的聚类数目，这是在深度判别聚类上很少研究的一个特性，因为聚类数目是先验未知的。

Sep, 2023

本文提出了基于高斯混合模型的互信息估计算法 GMM-MI， 经验证其在深度学习模型的可解释性研究中表现良好，可用于评估自编码的潜在空间中变量的分离度和与物理量的相关性分布。

Oct, 2022

本文提出了一个新颖的概念，图互信息（Graphical Mutual Information，GMI），用于无监督地将图结构数据中的丰富信息提取到嵌入空间中进行表示学习，同时运用 GMI 开发了无监督学习模型并在节点分类和链接预测等任务上表现出明显的优越性。

Feb, 2020

本文提出了一种名为 MIC 算法的层次聚类数据的方法，采用相互信息作为相似度度量，并利用其聚组特性。将此方法应用于从线粒体 DNA 序列构建系统发育树以及独立成分分析（ICA）的输出。

Nov, 2003

本研究提出了一种基于几何感知相互信息的判别式聚类模型 ——Sparse GEMINI，该算法通过简单的 L1 惩罚避免了组合特征子集探索的负担，同时只设计一个聚类模型，易于扩展到高维数据和大量样本进行。研究结果表明 Sparse GEMINI 是一种有竞争力的算法，在不使用相关性标准或先验假设的情况下，具有选择与聚类相关的变量子集的能力。

Feb, 2023

本文讨论自监督学习中互信息最大化方法的局限性，并提出了在特征提取器架构和互信息估算器参数化中彰显归纳偏置的重要性，并展示了这种方法的成功与深度度量学习之间的联系。

Jul, 2019

通过基于 Girsanov 定理的新方法，我们提出了一种估计随机变量之间互信息（MI）的方法。我们的方法基于分数函数的扩散模型来估计两个密度之间的 Kullback Leibler 散度，并衍生出估计随机变量熵的方法。我们的结果表明，我们的方法在挑战性分布情况下比文献中的主要替代方法更准确，并通过自洽性测试，包括数据处理和独立性下的可加性。

Oct, 2023

通过切片参数空间，我们针对机器学习算法提出新的信息理论泛化界限，证明切片可以提高泛化，并通过压缩模型的失真来收紧泛化界限，从而实现对神经网络的信息理论泛化界限的计算。

Jun, 2024

采用 CLIP 特征的负高斯交叉互信息度量被提出，用于评估 text-to-image generation 和 image captioning 任务的机器智能水平，与竞争指标相比具有一致性、样本简约性和鲁棒性，并在多模态表示学习中得到了广泛的应用。

May, 2022

通过得分估计隐式分布，我们提出了互信息梯度估计器（MIGE），用于基于 InfoMax 和信息瓶颈方法的无监督学习深层表示，并扩展了 MIGE 的应用。在高维和大 MI 设置下，MIGE 表现出紧密和平滑的 MI 梯度估计，并且实验结果表明了学习有效表示的显着性能提高。

May, 2020