ICMLJun, 2021

用于对比表示学习的分解互信息估计

PDF
TL;DR提出分解估计互信息 (Decomposed Estimation of Mutual Information, DEMI) 方法，在视觉领域和对话生成方面获得更好的表示表现，该方法通过将视图分解为逐渐更具信息的子视图来估计 MI，同时应用 Chian 规则简化了 MI 的估计过程。
contrastive representation learningmutual information estimationdemidata augmentationsequence view splitting
发现论文，激发创造
  • 自监督对比学习的约束多视图表示

    基于表示距离的互信息最大化方法用于量化不同视图的重要性，进而实现更高效的对比学习和表示解耦。通过在频率域提取多视图表示，并基于不同频率之间的互信息重新评估其重要性，本文提出的框架能够有效约束互信息最大化驱动的表示选择，推动多视图对比学习。

    Feb, 2024

  • 对比学习中的互信息在视觉表征中的应用

    本论文探讨了基于对比学习的图像表示学习方法，提出了一种最大化互信息的下界的目标函数，并在实验中发现选择难度更大的负样本以及视角可以提高算法性能。通过比较多种学习方法，研究结果表明，基于互信息的目标函数可以使得算法在分类、边界框检测、实例分割和关键点检测等任务上获得更好的表现。

    May, 2020

  • 深度学习可解释性的鲁棒互信息估计器

    本文提出了基于高斯混合模型的互信息估计算法 GMM-MI， 经验证其在深度学习模型的可解释性研究中表现良好，可用于评估自编码的潜在空间中变量的分离度和与物理量的相关性分布。

    Oct, 2022

  • 数据高效的互信息神经估计器

    本文提出了一种基于神经网络的数据效率更高的 Mutual Information 估计方法 DEMINE，通过放松预测 MI 下限来提高数据效率，并采用任务扩充方法 Meta-DEMINE 进一步优化其推广性和估计准确性，可用于实际数据集大小的统计依赖性检测。

    May, 2019

  • 多标签对比预测编码

    本文提出了一种基于多标签分类问题的新的变分互信息估计器，能够超越对数上界且仍然是互信息的一个有效下界，该方法具有更好的互信息估计性能，在无监督表示学习中实现了实证改进，并在 13 项任务中超越了当前最先进的知识蒸馏方法。

    Jul, 2020

  • 同胚信息神经估计

    DINE 是一种估算连续随机变量条件互信息的新方法，通过变换使目标变量用更简单的分布替代，从而能够有效地评估条件互信息，并在估算互信息，条件互信息和条件独立性测试等三个任务中表现出比竞争对手更好的性能。

    Nov, 2022

  • 利用伪造的图像标题进行多模态摘要

    本文从互信息优化的角度研究了负样本对视觉语言预训练中交叉模态对比学习的影响，并提出了一种渐进式改进的交叉模态相似度对比学习策略，在理论指导下实现了对 (部分) 假负例样本有益和有害效应的平衡，这种方法在四个下游交叉模态任务中表现良好。

    May, 2023

  • 对比学习的好视角是什么？

    这篇论文研究不同视角之间的关联性对于对比学习在无监督和半监督任务中的重要性，并提出通过减少视角之间的互信息来学习有效的视角以提高下游任务的准确性。同时，作者在 ImageNet 分类和 PASCAL VOC 目标检测以及 COCO 实例分割任务上通过对比实验展示了他们提出方法的高效性。

    May, 2020

  • 通过互信息估计学习解缠表示

    本文研究学习分离表现形式的问题，提出一种基于互信息估计的模型，用于捕捉数据的共享和独占组件，并强制实现表现形式分离，在共享或独占部分基础上实现图像分类和图像检索，结果表明相对于基于 VAE/GAN 方法的最先进模型，本文提出的模型表现更加出色。

    Dec, 2019

  • DNN 的概率表示：连接互信息和泛化

    本文提出了一种概率表示方法，用于准确估计深度神经网络的互信息，并利用估计器验证了信息理论对泛化的解释，得出了比现有方法更紧密的泛化界限。

    Jun, 2021