ICLRFeb, 2023

对比自监督的折旧不变性学习

PDF
TL;DR本文提出了一种基于自监督学习的泛化表征学习方法，利用不同 iable invariance hyper-parameters 控制表示中编码的不变性，并且通过梯度下降学习线性 readout 和任务特定的不变性要求，无需特定任务的预训练，从而实现了单一表征学习在多种任务中的多样化应用。
self-supervised learninginvariance learningpre-trainingamortised learningrepresentation learning
发现论文，激发创造
  • 为什么自监督模型能够迁移？—— 探究不变性在下游任务中的影响

    本文研究了自监督学习在图像中表征学习的应用，通过对比实例匹配方法，我们发现不同的视觉任务需要不同的数据扩充策略，并且使用具有互补不变性的表征方法可以提高各种下游任务的表现。

    Nov, 2021

  • 对比学习中不应该进行对比的内容

    本文提出了一种对比学习方法，该方法不需要先前知道特定于任务的不变性，使用多头网络构建不同的嵌入空间来捕捉可变及不变的因素 以提高视觉表示的效果，并发现不变空间和变化空间的连接在包括数据破坏等各种下游分类任务中表现最佳。

    Aug, 2020

  • 提高对比表示学习中的变换不变性

    本文主要介绍了强化对比学习得到的表示的不变性的方法，通过引入新的正则化器、特征平均法和可微分生成过程，对旋转等变性进行限制和控制，提高了表示在后续任务中的表现和鲁棒性。

    Oct, 2020

  • 揭开对比自监督学习的神秘面纱：不变量，数据增强和数据集偏差

    通过量化实验，我们发现了自监督学习方法的增益来源及其局限性，并且提出了一种利用非结构化视频学习表示以实现更高视点不变性的方法。

    Jul, 2020

  • 自监督预训练在三维视觉中的不变性深入剖析

    本文针对自监督学习在 3D 视觉中的应用，提出了一个统一的框架，并对各个不变性进行了全面的研究和比较。同时，文章还提出了一个简单而有效的对 3D 编码器和深度图编码器进行联合自对比学习的方法，并在下游任务中取得了显著的性能提升。

    Jul, 2022

  • 自监督视觉表征学习的传递不变性

    文章介绍了一种利用自监督学习的图形结构来学习具有不变性特征的视觉表示，并应用该表示在不同的识别任务中取得了显著性能提升。

    Aug, 2017

  • 对比自监督学习中的变换组合

    本文介绍了将对比学习扩展到更广泛的数据变换集合，并提出了一种满足所有对比公式要求的实用构造，其中所有噪声对比公式的组件都被表述为一定的广义数据变换选择（GDTs），通过对视频数据进行分析，得出了在学习有效视频表示时对某些变换具有不变性和对其他变换具有特征性的关键作用，这一结果大幅改善了多个学习基准，甚至超过了监督预训练。

    Mar, 2020

  • MT-SLVR: 多任务自监督学习变换不变表示

    提出了一个名为 MT-SLVR 的多任务自我监督框架，用于学习变化和不变性特征，提供了强大和灵活的功能，改善了多种音频领域的少样本分类任务分类性能。

    May, 2023

  • 神经网络中的不变性学习

    该研究提出了一种简单的过程来通过参数化 augmentations 的分布并优化训练损失一起调整网络和 augmentation 参数，从而从大量的 augmentations 中仅使用训练数据恢复图像分类、回归、分割和分子性质预测的正确不变性集和范围。

    Oct, 2020

  • 等变对比学习

    本文介绍了一种新的自我监督学习框架 E-SSL，它扩展了现有自我监督方法，并提出了一种新的目标函数以实现对输入的等变性要求，旨在提高表示的语义质量。该方法在多个计算机视觉基准数据集上进行验证，并在光子学领域的回归问题中展示了其实用性。

    Oct, 2021