Sep, 2023

广义互信息：一种用于判别聚类的框架

PDF
TL;DR本文介绍了深度聚类中相互信息作为无监督训练神经网络的客观标准的最大化并不能得到令人满意的聚类结果，并将核心距离更改为常见的挑战导致的原因。因此，我们通过引入广义相互信息 (GEMINI) 来推广相互信息，它是一组用于无监督神经网络训练的指标。与相互信息不同，一些 GEMINI 在训练时不需要正则化，因为它们在数据空间中具有几何意识的距离或核函数。最后，我们强调 GEMINI 可以自动选择相关的聚类数目，这是在深度判别聚类上很少研究的一个特性，因为聚类数目是先验未知的。
deep clusteringmutual informationunsupervised neural network trainingkullback-leibler divergencegeneralised mutual information
发现论文，激发创造
  • 判别聚类的广义互信息

    本文提出了一种新的无监督神经网络训练度量标准 —— 广义互信息 (GEMINI)，相比于互信息，它不需要正则化且可自动选择群聚数目，并且是数据空间的几何感知度量，从而提供更好的聚类效果。

    Oct, 2022

  • 深度学习可解释性的鲁棒互信息估计器

    本文提出了基于高斯混合模型的互信息估计算法 GMM-MI， 经验证其在深度学习模型的可解释性研究中表现良好，可用于评估自编码的潜在空间中变量的分离度和与物理量的相关性分布。

    Oct, 2022

  • 通过图形互信息最大化进行图形表示学习

    本文提出了一个新颖的概念，图互信息（Graphical Mutual Information，GMI），用于无监督地将图结构数据中的丰富信息提取到嵌入空间中进行表示学习，同时运用 GMI 开发了无监督学习模型并在节点分类和链接预测等任务上表现出明显的优越性。

    Feb, 2020

  • 使用互信息的分层聚类

    本文提出了一种名为 MIC 算法的层次聚类数据的方法，采用相互信息作为相似度度量，并利用其聚组特性。将此方法应用于从线粒体 DNA 序列构建系统发育树以及独立成分分析（ICA）的输出。

    Nov, 2003

  • 相互信息散度：多模态生成模型的统一度量

    采用 CLIP 特征的负高斯交叉互信息度量被提出，用于评估 text-to-image generation 和 image captioning 任务的机器智能水平，与竞争指标相比具有一致性、样本简约性和鲁棒性，并在多模态表示学习中得到了广泛的应用。

    May, 2022

  • MINDE: 互信息神经扩散估计

    通过基于 Girsanov 定理的新方法，我们提出了一种估计随机变量之间互信息（MI）的方法。我们的方法基于分数函数的扩散模型来估计两个密度之间的 Kullback Leibler 散度，并衍生出估计随机变量熵的方法。我们的结果表明，我们的方法在挑战性分布情况下比文献中的主要替代方法更准确，并通过自洽性测试，包括数据处理和独立性下的可加性。

    Oct, 2023

  • 神经网络的切片互信息广义界限

    通过切片参数空间，我们针对机器学习算法提出新的信息理论泛化界限，证明切片可以提高泛化，并通过压缩模型的失真来收紧泛化界限，从而实现对神经网络的信息理论泛化界限的计算。

    Jun, 2024

  • 稀疏 GEMINI 用于联合判别聚类和特征选择

    本研究提出了一种基于几何感知相互信息的判别式聚类模型 ——Sparse GEMINI，该算法通过简单的 L1 惩罚避免了组合特征子集探索的负担，同时只设计一个聚类模型，易于扩展到高维数据和大量样本进行。研究结果表明 Sparse GEMINI 是一种有竞争力的算法，在不使用相关性标准或先验假设的情况下，具有选择与聚类相关的变量子集的能力。

    Feb, 2023

  • 通过条件互信息推理广义化问题

    该论文提出了一个信息理论框架来研究机器学习算法的泛化性能，利用条件互信息量化算法输出和训练数据之间的关系，并提出基于 VC 维、压缩方案、差分隐私等方法来获得有界的条件互信息，从而得出泛化的各种形式。

    Jan, 2020

  • DNN 的概率表示：连接互信息和泛化

    本文提出了一种概率表示方法，用于准确估计深度神经网络的互信息，并利用估计器验证了信息理论对泛化的解释，得出了比现有方法更紧密的泛化界限。

    Jun, 2021