Nov, 2023

从预文本到目的：批自适应自监督学习

PDF
TL;DR本文研究自我监督对比学习中的两个关键因素：批大小和预设任务，并提出了一种自适应的批融合技术，通过降维和重构批数据，使以前孤立的个体数据能够通过嵌入层在批内进行通信，随着训练进行，自适应地增强自我监督特征编码能力。通过在 ImageNet-1k 上进行线性分类测试，实证结果表明我们的方法在公平比较下实现了最先进的性能。在 ImageNet-100 上，相对于原始性能，top1 最多提高了 1.25％。我们认为该方法可能有助于数据驱动的自我监督学习研究的进展，并为该领域带来新的视角。
self-supervised contrastive learningbatch sizepretext tasksadaptive techniquedata-driven self-supervised learning
发现论文，激发创造
  • 对比自监督学习综述

    本研究对自监督学习中采用对比学习方法的常见预训练任务及各种方法进行了广泛的回顾，并通过图像分类，目标检测和动作识别等多个下游任务的性能比较，探讨了当前方法的限制以及未来发展方向。

    Oct, 2020

  • 预文本对比学习：自监督视频表示学习的良好实践

    本文提出了一种联合优化框架 Pretext-Contrastive Learning (PCL) 可以显著提高预训练任务和对比学习的表现，在自监督视频特征学习任务中可以超过当前的 SOTA 方法。

    Oct, 2020

  • 通过知识转移提升自监督学习

    本文提出一种新的自监督学习框架，可以解决在设计和比较不同任务、模型和数据域时的限制问题，通过这个框架设计一种新的自监督任务，在 PASCAL VOC 2007、ILSVRC12 和 Places 数据集上，取得了显著的最先进表现，并将自监督学习和监督学习之间的对象检测 mAP 误差从 5.9% 缩小到 2.6%。

    May, 2018

  • 多视图自监督方法在音乐标记中的实验比较

    在音乐领域应用自监督学习，通过研究和比较新的自监督方法，证明对比学习相对于其他自监督预训练方法在有限数据下游任务中始终能够取得更好的性能。

    Apr, 2024

  • 混合自监督学习

    自我监督学习方法可以通过使用多个预处理任务和混合专家架构作为门控网络，来改进图像分类，使模型能够自动学习和更关注对分类最有用的增强方法。在几个场景下进行测试，并使用 Grad-CAM 和 T-SNE 分析来识别影响图像分类的重要特征并适当地区分不同的类别。

    Jul, 2023

  • 监督对比学习

    本文介绍了一种基于对比学习的自我监督表征学习方法，并将其推广到全监督设置中。其中，相同类别的样本点在嵌入空间中被拉在一起，而来自不同类别的样本则被同时推开，以实现更好的分类性能。实现简单，最佳损失函数表现优于交叉熵。

    Apr, 2020

  • 研究自监督方法以实现标签高效学习

    视觉变换器结合自监督学习，在分类、分割和检测等多个下游任务上能够扩展到大规模数据集。我们通过比较预训练模型，在不同自监督预训练任务（对比学习、聚类和掩模图片建模）的低样本学习能力以及应对崩溃的方法（居中、ME-MAX 和 Sinkhorn）对这些下游任务的影响进行系统级研究。基于我们的详细分析，我们提出了一个框架，将掩模图片建模和聚类作为预训练任务，这个框架在包括多类分类、多标签分类和语义分割在内的所有低样本下游任务中表现更好。此外，当在完整规模的数据集上测试模型时，我们在多类分类、多标签分类和语义分割中展示了性能提升。

    Jun, 2024

  • 利用自监督预设任务进行主动学习的 PT4AL

    本文提出一种创新的主动学习方法，利用自监督的预训练任务和独特的数据采样器，通过选择具有难度和代表性的数据来解决数据标注代价高的问题，并在各种图像分类和分割基准上取得了令人信服的性能。

    Jan, 2022

  • 预测已知信息有助于自证自学

    这篇论文提出了一种基于自监督学习的特征学习方法，通过预测无标签数据的辅助任务来学习有用的语义表示，并使用线性层来对学习的表示进行下游任务预测，从而显著降低了样本复杂度。

    Aug, 2020

  • 自监督视频表征学习基准测试

    本文提出了用于视频领域的自监督学习基准，并对数据集大小、数据分布、数据噪声、自监督预训练架构相关的五个不同方面进行了观察分析，同时提出一种新方法，不需要过多的训练数据，即可超越现有自监督预训练的先进水平。

    Jun, 2023