ICMLJul, 2023

多视角自监督学习中的熵和重构的作用

PDF
TL;DR多视角自监督学习的成功机制尚未完全了解，本文通过熵和重构项 (ER) 的下界进行分析，发现基于聚类的方法最大化了互信息 (MI)，而基于蒸馏的方法则显式地最大化了重构项并隐式地鼓励稳定熵，通过用 ER 下界替换常见 MVSSL 方法的目标，实现了竞争性的性能，并在小批量大小或小指数移动平均 (EMA) 系数下保持稳定。
multi-view self-supervised learningcontrastive mvssl methodsentropy and reconstruction termclustering-based methodsdistillation-based approaches
发现论文，激发创造
  • 自监督对比学习的约束多视图表示

    基于表示距离的互信息最大化方法用于量化不同视图的重要性，进而实现更高效的对比学习和表示解耦。通过在频率域提取多视图表示，并基于不同频率之间的互信息重新评估其重要性，本文提出的框架能够有效约束互信息最大化驱动的表示选择，推动多视图对比学习。

    Feb, 2024

  • 自监督学习中的信息流

    本文通过矩阵信息理论的视角提供了一个全面的工具箱，用于理解和增强自监督学习方法，其中包括对比方法、特征去相关方法的统一分析，并提出了基于矩阵信息理论的矩阵变分掩膜自编码器 (M-MAE) 方法作为对掩膜图像建模的一种增强方法。经验证实，M-MAE 相对于最先进方法，在 ImageNet 上线性探测 ViT-Base 性能提升了 3.9%，微调 ViT-Large 性能提升了 1%。

    Sep, 2023

  • MVEB：多视图熵瓶颈的自监督学习

    自我监督学习通过最大化两个视图的嵌入间的一致性和嵌入分布的差分熵，提出了多视图熵瓶颈方法（MVEB）来有效地学习最小的充分表示。实验证实，MVEB 显著提高了性能，在使用 ResNet-50 骨干网络进行线性评估时，ImageNet 的 top-1 准确率达到了 76.9％，是迄今为止的最新成果。

    Mar, 2024

  • 更多的协同作用、更少的冗余：利用联合互信息进行自监督学习

    本论文探讨了互信息在自监督学习（Self-supervised learning，SSL）中的作用，并引入了 PID 方法来最小化视图间冗余信息和最大化协同信息，提出了一种新的 SSL 训练协议。在多个数据集和下游任务上进行了广泛的实验，证明了该框架的有效性。

    Jul, 2023

  • 关于表示学习的互信息最大化

    本文讨论自监督学习中互信息最大化方法的局限性，并提出了在特征提取器架构和互信息估算器参数化中彰显归纳偏置的重要性，并展示了这种方法的成功与深度度量学习之间的联系。

    Jul, 2019

  • 理解基于潜在相关性的多视角学习和自监督：一个可识别性视角

    本文旨在从潜在组件识别的角度理解基于最大化相关性的深度多视角学习，并采用一种直观的生成模型来分析多视角数据，它是共享和私有组件的不同非线性混合物，通过最大化潜在相关性，可以保证从各个视角提取共享组件（在一定程度上）并且还证明了通过适当的正则化设计，每个视图中的私有信息可以被明确地分离出来。

    Jun, 2021

  • 对比学习的好视角是什么？

    这篇论文研究不同视角之间的关联性对于对比学习在无监督和半监督任务中的重要性，并提出通过减少视角之间的互信息来学习有效的视角以提高下游任务的准确性。同时，作者在 ImageNet 分类和 PASCAL VOC 目标检测以及 COCO 实例分割任务上通过对比实验展示了他们提出方法的高效性。

    May, 2020

  • 大多数自监督学习方法背后的共同稳定性机制

    通过解释对比技术如 SimCLR 和非对比技术如 BYOL、SWAV、SimSiam、Barlow Twins 和 DINO 的工作机制，提供了稳定机制的框架，论证了这些不同的自监督学习技术在隐式上优化类似的目标函数，同时提供数学和经验数据支持。

    Feb, 2024

  • 从多视角探寻规律：自监督和正则化学习用于多视角物体识别

    研究了多角度自我监督学习中的物体不变表示问题，提出了一种随机原型嵌入方法，并使用多角度一致性正则化来实现该方法。实验表明，该方法能够在已知和未知数据上优于其他自我监督学习方法，并且可以应用于少量数据场景中。

    Mar, 2020

  • 一个概率模型解释自监督表示学习

    自监督学习在生成的潜在变量模型和对比方法的框架下，提出了一种能够改善性能、实现任务无关性表示的方法。

    Feb, 2024