Feb, 2024

自监督对比学习的约束多视图表示

PDF
TL;DR基于表示距离的互信息最大化方法用于量化不同视图的重要性，进而实现更高效的对比学习和表示解耦。通过在频率域提取多视图表示，并基于不同频率之间的互信息重新评估其重要性，本文提出的框架能够有效约束互信息最大化驱动的表示选择，推动多视图对比学习。
representation learningcontrastive learningmutual information maximizationmedical image segmentationfrequency domain
发现论文，激发创造
  • 对比学习中的互信息在视觉表征中的应用

    本论文探讨了基于对比学习的图像表示学习方法，提出了一种最大化互信息的下界的目标函数，并在实验中发现选择难度更大的负样本以及视角可以提高算法性能。通过比较多种学习方法，研究结果表明，基于互信息的目标函数可以使得算法在分类、边界框检测、实例分割和关键点检测等任务上获得更好的表现。

    May, 2020

  • 对比学习的好视角是什么？

    这篇论文研究不同视角之间的关联性对于对比学习在无监督和半监督任务中的重要性，并提出通过减少视角之间的互信息来学习有效的视角以提高下游任务的准确性。同时，作者在 ImageNet 分类和 PASCAL VOC 目标检测以及 COCO 实例分割任务上通过对比实验展示了他们提出方法的高效性。

    May, 2020

  • 通过最大化视角间相互信息来学习表示

    该研究提出了一种基于最大化共享环境的多视角特征提取之间的互信息来进行自我监督表示学习的方法，并通过使用该方法建立一个模型，该模型学习到的图像表示在 ImageNet 等任务上的表现优于以前的方法。

    Jun, 2019

  • 关于表示学习的互信息最大化

    本文讨论自监督学习中互信息最大化方法的局限性，并提出了在特征提取器架构和互信息估算器参数化中彰显归纳偏置的重要性，并展示了这种方法的成功与深度度量学习之间的联系。

    Jul, 2019

  • 用于对比表示学习的分解互信息估计

    提出分解估计互信息 (Decomposed Estimation of Mutual Information, DEMI) 方法，在视觉领域和对话生成方面获得更好的表示表现，该方法通过将视图分解为逐渐更具信息的子视图来估计 MI，同时应用 Chian 规则简化了 MI 的估计过程。

    Jun, 2021

  • 基于多视角对比学习提升情感分析中形式表征

    本文探索了应用对比学习改进模态表征的方法，提出了三阶段的多视角对比学习框架，通过监督和自监督对比学习来改进单模态和融合的多模态表征，并成功提高了多模态情感分析任务的效果。

    Oct, 2022

  • 利用互信息学习说话者表示

    利用互信息作为无监督学习中一种重要的度量方式，设计一种基于编码器 — 判别器结构的音频信号 SincNet 编码器，通过最大化采样自同一句子块的编码表示之间的互信息来学习音频信号中说话者的特征表达，可成功地实现有效的说话者识别和验证任务。

    Dec, 2018

  • 通过对比交叉视图互信息最大化学习视角解离人体姿态表征

    该研究提出一种新颖的表示学习方法，在交叉视角相互信息最大化的训练下，从 2D 人体姿势中区分依赖于姿势和视角的因素，并且追加两个正则化项以确保所学习的表示的分离和平滑性，并将其应用于交叉视角的动作识别中。

    Dec, 2020

  • 通过互信息估计学习解缠表示

    本文研究学习分离表现形式的问题，提出一种基于互信息估计的模型，用于捕捉数据的共享和独占组件，并强制实现表现形式分离，在共享或独占部分基础上实现图像分类和图像检索，结果表明相对于基于 VAE/GAN 方法的最先进模型，本文提出的模型表现更加出色。

    Dec, 2019

  • 用对比表示学习分离常见模式和显著模式

    基于对比学习和信息最大化准则，我们提出了一种名为 SepCLR 的方法，用于学习适用于对比分析的语义表达，通过最大化和最小化两个互信息项，并采用新颖的最小化互信息策略来防止常见和显著分布之间的信息泄露。

    Feb, 2024