ICMLApr, 2020

通过对抗最大化互信息来学习离散结构表示

PDF
TL;DR本研究提出使用互信息优化结构化潜变量和目标变量之间的关联，通过对抗目标函数可在二进制编码上估算互信息，应用于文件哈希上表现卓越且高度压缩。
发现论文，激发创造
  • 通过互信息估计和最大化学习深层表示

    通过在深度神经网络编码器的输入和输出之间最大化互信息来进行无监督学习表示，该方法将表示的特征与先前分布进行敌对匹配，优于其他无监督学习方法并能够在多个分类任务中与全监督学习相竞争，深度信息最大化（DIM）为特定端点目标的无监督学习表示开启了新的途径。

    Aug, 2018

  • 在变分自编码器中通过最大化互信息学习表征

    介绍了一种新的方法 ——InfoMax-VAE：在传统的 VAES 上加上互信息最大化的方法，同时优化其中的高级表示。在多项实验中，表现优于 Info-VAE 和 β-VAE 等现代流行的方法。

    Dec, 2019

  • 通过互信息估计学习解缠表示

    本文研究学习分离表现形式的问题，提出一种基于互信息估计的模型，用于捕捉数据的共享和独占组件，并强制实现表现形式分离，在共享或独占部分基础上实现图像分类和图像检索，结果表明相对于基于 VAE/GAN 方法的最先进模型，本文提出的模型表现更加出色。

    Dec, 2019

  • 自监督对比学习的约束多视图表示

    基于表示距离的互信息最大化方法用于量化不同视图的重要性，进而实现更高效的对比学习和表示解耦。通过在频率域提取多视图表示，并基于不同频率之间的互信息重新评估其重要性，本文提出的框架能够有效约束互信息最大化驱动的表示选择，推动多视图对比学习。

    Feb, 2024

  • 内在动机强化学习的变分信息最大化

    本文提供了一种新的通过合并变分推理和深度学习技术以扩展优化相互信息的方法，该方法可用于从像素到动作的可伸缩信息最大化和基于赋权的推理。

    Sep, 2015

  • 利用互信息学习说话者表示

    利用互信息作为无监督学习中一种重要的度量方式，设计一种基于编码器 — 判别器结构的音频信号 SincNet 编码器，通过最大化采样自同一句子块的编码表示之间的互信息来学习音频信号中说话者的特征表达，可成功地实现有效的说话者识别和验证任务。

    Dec, 2018

  • 通过最差情况的互信息最大化学习对抗鲁棒表现

    本文研究了在最坏情况下，表示脆弱性与最小敌对风险之间的下界关系，并提出了一种基于最坏情况下的相互信息最大化的无监督学习方法来获得内在具有鲁棒性的表示，并通过下游分类任务的实验证明了所得到的具有鲁棒性的表示。

    Feb, 2020

  • 通过最大化本地互信息来进行多模态表征学习

    该研究提出并演示了一种利用图像和文本间局部特征的互信息最大化的表示学习方法，以此训练图像和文本编码器，使其表现出高局部互信息，实验结果显示该方法在图像分类任务中具有优势。

    Mar, 2021

  • 语言表示学习的互信息最大化视角

    本文介绍了词表示学习的最新方法，通过互信息最大化来统一传统的词嵌入模型和现代上下文嵌入模型。此外，我们提出了一种构建新的自监督任务的框架，并提供了一种简单的自监督目标函数来最大化句子全局表示和 n-gram 之间的互信息。这种方法可以在自然语言处理、计算机视觉和音频处理等多个领域传递知识和推进进展。

    Oct, 2019

  • 通过互信息反向传播学习无偏表示

    利用信息论的有关发现，我们提出了一种新的端到端优化策略，该策略同时估计和最小化学习表示和数据属性之间的互信息，通过这种策略，我们的模型在标准基准测试中表现出与最先进的方法相当或优越的分类性能，此方法可应用于问题的 “算法公平性”，并得到了竞争性的结果。

    Mar, 2020