Nov, 2021

为什么自监督模型能够迁移？—— 探究不变性在下游任务中的影响

PDF
TL;DR本文研究了自监督学习在图像中表征学习的应用，通过对比实例匹配方法，我们发现不同的视觉任务需要不同的数据扩充策略，并且使用具有互补不变性的表征方法可以提高各种下游任务的表现。
发现论文，激发创造
  • 揭开对比自监督学习的神秘面纱：不变量，数据增强和数据集偏差

    通过量化实验，我们发现了自监督学习方法的增益来源及其局限性，并且提出了一种利用非结构化视频学习表示以实现更高视点不变性的方法。

    Jul, 2020

  • 通过增强感知自我监督改善表示的可转移性

    为了避免生成数据不敏感的特点，同时获取更具普适性的表示，我们提出了一种辅助自监督损失 AugSelf，它学习两个随机样本之间的增强参数差异，并可以轻松地纳入最先进的表征学习方法中，稳定提高了监督和无监督方法的表征迁移性能。

    Nov, 2021

  • 对比学习中不应该进行对比的内容

    本文提出了一种对比学习方法，该方法不需要先前知道特定于任务的不变性，使用多头网络构建不同的嵌入空间来捕捉可变及不变的因素 以提高视觉表示的效果，并发现不变空间和变化空间的连接在包括数据破坏等各种下游分类任务中表现最佳。

    Aug, 2020

  • 自监督视觉表征学习的传递不变性

    文章介绍了一种利用自监督学习的图形结构来学习具有不变性特征的视觉表示，并应用该表示在不同的识别任务中取得了显著性能提升。

    Aug, 2017

  • 对比自监督的折旧不变性学习

    本文提出了一种基于自监督学习的泛化表征学习方法，利用不同 iable invariance hyper-parameters 控制表示中编码的不变性，并且通过梯度下降学习线性 readout 和任务特定的不变性要求，无需特定任务的预训练，从而实现了单一表征学习在多种任务中的多样化应用。

    Feb, 2023

  • 学习变换以实现个体无关性的普适性

    基于数据的学习预测变换分布以及通过对样本对齐实现对不同类别的普遍不变性和适应不同姿态，从而提高计算机视觉中的准确性和鲁棒性。

    Sep, 2023

  • MT-SLVR: 多任务自监督学习变换不变表示

    提出了一个名为 MT-SLVR 的多任务自我监督框架，用于学习变化和不变性特征，提供了强大和灵活的功能，改善了多种音频领域的少样本分类任务分类性能。

    May, 2023

  • 高效有效的自监督视觉表示学习

    本研究提出一种新的辅助任务 —— 旋转预测，用于加强现有最先进的基于相似性和对比性方法，并在多个数据集上证明了我们的方法能显着提高性能。

    Oct, 2022

  • 提高对比表示学习中的变换不变性

    本文主要介绍了强化对比学习得到的表示的不变性的方法，通过引入新的正则化器、特征平均法和可微分生成过程，对旋转等变性进行限制和控制，提高了表示在后续任务中的表现和鲁棒性。

    Oct, 2020

  • 自监督模型的迁移表现如何？

    本文探讨了 13 种自监督学习模型对 40 个下游任务的传输性能，发现自监督学习在多数任务上的表现均优于监督学习，但仍需解决通用预训练的问题。探究特征表明，自监督学习方法在保留颜色信息方面不如监督学习方法，但分类器校准和过度拟合问题相对较少。

    Nov, 2020