AAAIJun, 2021

自对比学习：使用子网络的单视点监督对比框架

PDF
TL;DR本研究介绍了自同对比学习 (SelfContrastive) 和多出口模型 (multi-exit architecture)，以达到在 ResNet-50 上进行 ImageNet 分类的目的。SelfCon 通过多路单一网络计算出多个图像特征来替代传统的多视图方法，其精度相较于传统方法提升了 0.6%，同时只需用传统方法的 59% 的内存和 48% 的训练时间。
contrastive lossmulti-viewed frameworkself-contrastingmulti-exit architectureimagenet classification
发现论文，激发创造
  • 监督对比学习

    本文介绍了一种基于对比学习的自我监督表征学习方法，并将其推广到全监督设置中。其中，相同类别的样本点在嵌入空间中被拉在一起，而来自不同类别的样本则被同时推开，以实现更好的分类性能。实现简单，最佳损失函数表现优于交叉熵。

    Apr, 2020

  • 对比学习，多视角冗余和线性模型

    本文针对多视图环境下对比学习进行理论分析，结果表明当视图提供有关标签的冗余信息时，所学习的表示的线性函数在下游预测任务中几乎是最优的。

    Aug, 2020

  • Sy-CON: 对称对比损失用于连续自监督表示学习

    引入了一种新型通用损失函数 Symmetric Contrastive (Sy-CON) loss 用于有效地连续自监督学习 (CSSL).

    Jun, 2023

  • 基于全局和局部表示的多网络对比学习

    提出了基于全局和局部特征表示的多网络对比学习框架，通过多个网络引入自监督对比学习的全局和局部特征信息，并通过对比由多个网络生成的嵌入对来学习图像不同尺度上的特征信息，并扩展对比样本数，提高了模型的训练效率。在三个基准数据集上的线性评估结果表明，我们的方法优于几种现有的经典自监督学习方法。

    Jun, 2023

  • 基于对比的多视图图形表示学习

    文章介绍了通过对比不同结构视图的图表达学习来实现自监督学习，相对于多视图或多尺度编码，通过对比一阶邻居和图扩散编码能够获得最佳表现。该方法在 8 个节点和图分类基准测试中取得了新的最佳结果，在 Cora（节点）和 Reddit-Binary（图）分类基准测试中，取得了 86.8％和 84.5％的准确性，在 4 个基准测试中优于有监督的基线。

    Jun, 2020

  • 自监督视频表示学习与元对比网络

    本文提出了一种结合对比度学习和元学习的元对比网络（MCN）方法，以增强现有自我学习方法的学习能力，并且在视频动作识别和视频检索等两个下游任务中，比当前最先进的方法在 UCF101 和 HMDB51 数据集上均有较好表现。

    Aug, 2021

  • 对比自监督学习综述

    本研究对自监督学习中采用对比学习方法的常见预训练任务及各种方法进行了广泛的回顾，并通过图像分类，目标检测和动作识别等多个下游任务的性能比较，探讨了当前方法的限制以及未来发展方向。

    Oct, 2020

  • 具有自监督的情境化时空对比学习

    本文提出了一种基于上下文感知的时空对比学习（ConST-CL）的方法，该方法成功地实现了学习细粒度视频表示，利用区域预文本任务引导模型从一个视角到另一个视角转换，并整合整体和局部表示的并行学习过程。我们在多个数据集上评估了所学得的表示，并展示了 ConST-CL 在 6 个数据集上取得了具有竞争力的结果，包括 Kinetics，UCF，HMDB，AVA-Kinetics，AVA 和 OTB。

    Dec, 2021

  • 对比学习的少样本分类

    本文提出了一种新的对比学习框架，将其无缝地整合到预训练阶段和元训练阶段，以提高少样本分类的性能，并使用交叉视图的情节训练机制进行最近的质心分类，并采用基于距离缩放的对比损失。

    Sep, 2022

  • 自监督视觉预训练的密集对比学习

    本文介绍了一种基于像素的密集自监督学习方法，通过考虑局部特征之间的对应关系，实现了对密集预测任务的有效优化，包括物体检测，语义分割和实例分割。与基线方法 MoCo-v2 相比，该方法仅引入了微不足道的计算开销，但表现出了更好的性能。

    Nov, 2020