Oct, 2019

MIM: 互信息机器

PDF
TL;DR引入 Mutual Information Machine (MIM)，一种概率自编码器，用于学习观测和潜变量的联合分布。MIM 反映了三个设计原则：低散度、高互信息和低边际熵，这有助于学习聚类潜在表示。与极大似然法和变分自编码器 (VAE) 相比，实验表明，MIM 通过避免后验崩溃，学习具有高互信息和一致的编码和解码分布的表征。
mutual information machineprobabilistic auto-encoderjoint distributionslatent variablesclustering
发现论文，激发创造
  • 使用互信息机器改进小分子生成

    该论文提出一种基于自编码器和互信息机器学习的方法 MolMIM，用于小分子药物发现领域的分子生成和优化，并使用 CMA-ES 算法在 MolMIM 潜在空间中进行性质引导的分子优化任务，取得了优异的结果。

    Aug, 2022

  • 利用互信息学习说话者表示

    利用互信息作为无监督学习中一种重要的度量方式，设计一种基于编码器 — 判别器结构的音频信号 SincNet 编码器，通过最大化采样自同一句子块的编码表示之间的互信息来学习音频信号中说话者的特征表达，可成功地实现有效的说话者识别和验证任务。

    Dec, 2018

  • 深度学习可解释性的鲁棒互信息估计器

    本文提出了基于高斯混合模型的互信息估计算法 GMM-MI， 经验证其在深度学习模型的可解释性研究中表现良好，可用于评估自编码的潜在空间中变量的分离度和与物理量的相关性分布。

    Oct, 2022

  • 通过互信息估计和最大化学习深层表示

    通过在深度神经网络编码器的输入和输出之间最大化互信息来进行无监督学习表示，该方法将表示的特征与先前分布进行敌对匹配，优于其他无监督学习方法并能够在多个分类任务中与全监督学习相竞争，深度信息最大化（DIM）为特定端点目标的无监督学习表示开启了新的途径。

    Aug, 2018

  • MIND: 基于最大互信息的神经解码器

    本文提出了一种基于互信息的神经编码器（MIND）来优化数字通信系统中的检测 / 解码问题的最优神经架构。

    May, 2022

  • 在变分自编码器中通过最大化互信息学习表征

    介绍了一种新的方法 ——InfoMax-VAE：在传统的 VAES 上加上互信息最大化的方法，同时优化其中的高级表示。在多项实验中，表现优于 Info-VAE 和 β-VAE 等现代流行的方法。

    Dec, 2019

  • 通过对抗最大化互信息来学习离散结构表示

    本研究提出使用互信息优化结构化潜变量和目标变量之间的关联，通过对抗目标函数可在二进制编码上估算互信息，应用于文件哈希上表现卓越且高度压缩。

    Apr, 2020

  • 内在动机强化学习的变分信息最大化

    本文提供了一种新的通过合并变分推理和深度学习技术以扩展优化相互信息的方法，该方法可用于从像素到动作的可伸缩信息最大化和基于赋权的推理。

    Sep, 2015

  • 信息最大化神经网络进行自动物理推理

    介绍了一种基于机器学习技术的信息最大化神经网络 (IMNN) 方法，可以自动找到最佳的非线性数据压缩摘要来近似完整的数据信息，从而实现精准且高效的宇宙学参数估计。

    Feb, 2018

  • MIM4DD：数据集精炼的互信息最大化

    我们引入互信息作为衡量合成数据集与真实数据集之间共享信息量的度量标准，并通过对比学习框架内的新设计的可优化目标来数值化地最大化互信息，从而更新合成数据集。实验证明，这种方法可以作为现有先进方法的附加模块来实现数据集精简。

    Dec, 2023