Feb, 2020

通过图形互信息最大化进行图形表示学习

PDF
TL;DR本文提出了一个新颖的概念，图互信息（Graphical Mutual Information，GMI），用于无监督地将图结构数据中的丰富信息提取到嵌入空间中进行表示学习，同时运用 GMI 开发了无监督学习模型并在节点分类和链接预测等任务上表现出明显的优越性。
发现论文，激发创造
  • InfoGraph：利用互信息最大化进行无监督和半监督图级表示学习

    本文研究无监督与半监督情境下，学习整个图的表示。通过最大化不同规模子结构（例如节点，边和三角形）的表示和图表示之间的互信息，提出了名为 InfoGraph 的图级表示学习方法。InfoGraph 优于现有的竞争基线。同时，我们还提出了一个名为 InfoGraph * 的扩展，主要用于半监督学习。

    Jul, 2019

  • 深图信息最大化

    Deep Graph Infomax 提出了用于无监督学习图结构数据中节点表示的一般方法，可用于节点分类任务，并且相比大多数先前的方法，不依赖于随机游走目标。

    Sep, 2018

  • 广义互信息：一种用于判别聚类的框架

    本文介绍了深度聚类中相互信息作为无监督训练神经网络的客观标准的最大化并不能得到令人满意的聚类结果，并将核心距离更改为常见的挑战导致的原因。因此，我们通过引入广义相互信息 (GEMINI) 来推广相互信息，它是一组用于无监督神经网络训练的指标。与相互信息不同，一些 GEMINI 在训练时不需要正则化，因为它们在数据空间中具有几何意识的距离或核函数。最后，我们强调 GEMINI 可以自动选择相关的聚类数目，这是在深度判别聚类上很少研究的一个特性，因为聚类数目是先验未知的。

    Sep, 2023

  • 判别聚类的广义互信息

    本文提出了一种新的无监督神经网络训练度量标准 —— 广义互信息 (GEMINI)，相比于互信息，它不需要正则化且可自动选择群聚数目，并且是数据空间的几何感知度量，从而提供更好的聚类效果。

    Oct, 2022

  • 关于表示学习的互信息最大化

    本文讨论自监督学习中互信息最大化方法的局限性，并提出了在特征提取器架构和互信息估算器参数化中彰显归纳偏置的重要性，并展示了这种方法的成功与深度度量学习之间的联系。

    Jul, 2019

  • 深度学习可解释性的鲁棒互信息估计器

    本文提出了基于高斯混合模型的互信息估计算法 GMM-MI， 经验证其在深度学习模型的可解释性研究中表现良好，可用于评估自编码的潜在空间中变量的分离度和与物理量的相关性分布。

    Oct, 2022

  • 基于互信息和自监督双层聚合的节点嵌入

    本文通过使用互信息（mutual information）引入局部区域和全局区域的概念，并利用双层聚合对复杂的节点特征进行建模，实现了对于无序图中节点表示的高效学习和训练。同时，借助于自监督学习，将有限的标签数据结合互信息理论进行更加细致的标签预测，证明了本文提出的模型在各种图结构中都有着优越的表现。

    Apr, 2021

  • 通过最大化互信息进行二分图嵌入

    本文提出一种叫 BiGI 的双分图嵌入方法，引入了一种新颖的局部 - 全局 infomax 目标，通过最大化局部和全局表示之间的互信息，使得双分图中的节点具备全局相关性，实现了对双分图的全局特征建模，并在各种基准数据集上进行了评估，并与现有方法进行了比较。

    Dec, 2020

  • 利用互信息学习说话者表示

    利用互信息作为无监督学习中一种重要的度量方式，设计一种基于编码器 — 判别器结构的音频信号 SincNet 编码器，通过最大化采样自同一句子块的编码表示之间的互信息来学习音频信号中说话者的特征表达，可成功地实现有效的说话者识别和验证任务。

    Dec, 2018

  • 通过互信息估计和最大化学习深层表示

    通过在深度神经网络编码器的输入和输出之间最大化互信息来进行无监督学习表示，该方法将表示的特征与先前分布进行敌对匹配，优于其他无监督学习方法并能够在多个分类任务中与全监督学习相竞争，深度信息最大化（DIM）为特定端点目标的无监督学习表示开启了新的途径。

    Aug, 2018