ICLRAug, 2018

通过互信息估计和最大化学习深层表示

PDF
TL;DR通过在深度神经网络编码器的输入和输出之间最大化互信息来进行无监督学习表示，该方法将表示的特征与先前分布进行敌对匹配，优于其他无监督学习方法并能够在多个分类任务中与全监督学习相竞争，深度信息最大化（DIM）为特定端点目标的无监督学习表示开启了新的途径。
unsupervised learningrepresentationsdeep neural network encoderprior distributionflexible formulations
发现论文，激发创造
  • 通过最大化本地互信息来进行多模态表征学习

    该研究提出并演示了一种利用图像和文本间局部特征的互信息最大化的表示学习方法，以此训练图像和文本编码器，使其表现出高局部互信息，实验结果显示该方法在图像分类任务中具有优势。

    Mar, 2021

  • 通过对抗最大化互信息来学习离散结构表示

    本研究提出使用互信息优化结构化潜变量和目标变量之间的关联，通过对抗目标函数可在二进制编码上估算互信息，应用于文件哈希上表现卓越且高度压缩。

    Apr, 2020

  • 视频深度信息最大化表示学习

    本文介绍一种名为 Video Deep InfoMax (VDIM) 的自监督学习方法，将原 DeepInfoMax 扩展至视频领域，其利用内部结构构建视图，并利用这些视图进行预测任务，从而实现对 UCF-101 数据集的行为识别任务的 SoTA 预测结果。

    Jul, 2020

  • 关于表示学习的互信息最大化

    本文讨论自监督学习中互信息最大化方法的局限性，并提出了在特征提取器架构和互信息估算器参数化中彰显归纳偏置的重要性，并展示了这种方法的成功与深度度量学习之间的联系。

    Jul, 2019

  • 利用互信息学习说话者表示

    利用互信息作为无监督学习中一种重要的度量方式，设计一种基于编码器 — 判别器结构的音频信号 SincNet 编码器，通过最大化采样自同一句子块的编码表示之间的互信息来学习音频信号中说话者的特征表达，可成功地实现有效的说话者识别和验证任务。

    Dec, 2018

  • 信息最大化准则的自监督学习

    本文介绍一种基于互信息的 self-supervised 方法 CorInfoMax，该方法通过最大化高斯混合分布下的互信息解决了 mode collapse 和 dimensional collapse 问题。

    Sep, 2022

  • 通过最大化视角间相互信息来学习表示

    该研究提出了一种基于最大化共享环境的多视角特征提取之间的互信息来进行自我监督表示学习的方法，并通过使用该方法建立一个模型，该模型学习到的图像表示在 ImageNet 等任务上的表现优于以前的方法。

    Jun, 2019

  • Info3D：使用互信息优化和对比学习的三维物体表征学习

    本文提出在三维形状分析领域中将 InfoMax 和对比学习原则进行拓展，通过最大限度地利用三维物体及其 “块” 之间的相互信息来改善几何对齐数据集中的表示，以及通过在三维物体和其几何变换版本之间最大化相互信息来实现 SO（3）群中的旋转不变性。在聚类、迁移学习、形状检索等实验中，实现了最先进的结果。

    Jun, 2020

  • 深度强化学习和信息最大化学习

    本文介绍了一种基于 Deep InfoMax (DIM) 的训练方法，目的是让模型预测未来状态，从而提高处理强化学习问题的性能。测试表明，这种方法在多个人工场景中学到了预测未来状态的表示，并应用于 C51 模型中，在连续学习任务和 Procgen 环境中实现了性能提升。

    Jun, 2020

  • 在变分自编码器中通过最大化互信息学习表征

    介绍了一种新的方法 ——InfoMax-VAE：在传统的 VAES 上加上互信息最大化的方法，同时优化其中的高级表示。在多项实验中，表现优于 Info-VAE 和 β-VAE 等现代流行的方法。

    Dec, 2019