Jun, 2022

TiCo：自监督视觉表示学习的变换不变性和协变性对比

PDF
TL;DRTiCo 是一种基于自监督学习的视觉表示学习方法，通过最大化同一图像不同畸变版本的嵌入之间的一致性来使编码器产生具有变换不变性的表示，并通过正则化来避免平凡解。通过共同最小化转换不变性损失和协方差对比损失，获得能够产生有用表示用于下游任务的编码器，这种方法提供了一种视觉嵌入方法的新思路。
self-supervised learningtransformation invariancecovariance contrastembeddingdownstream tasks
发现论文，激发创造
  • 无监督视觉表征学习的动量对比法

    用于视觉表示学习的动量对比（MoCo）利用队列和移动平均编码器构建动态字典，并提供具有竞争力的结果并实现下游任务的迁移。

    Nov, 2019

  • VICReg: 自监督学习的方差不变协方差正则化

    本文介绍了一种简单、易于解释的方法 VICReg，结合了方差约束、冗余降维和协方差正则化等策略，可以解决自我监督学习中模型输出恒定向量的问题，并能在图像表征学习等多个下游任务中达到与现有方法相当的性能水平。

    May, 2021

  • VideoMoCo：时序对抗样本的对比视频表示学习

    本文提出了 VideoMoCo，通过引入生成器丢弃视频输入样本中的几个帧，从两个方面改进 MoCo 的暂态特征表示。其通过自适应丢弃输入样本的不同帧来训练时变鲁棒编码器，同时使用时序衰减来模拟内存队列中的关键信息衰减，从而使暂态特征表达更强，在无需预设任务的情况下提高 MoCo 的效率。在 UCF101 和 HMDB51 等基准数据集上，实验结果表明 VideoMoCo 是一个最先进的视频表征学习方法。

    Mar, 2021

  • TIC-TAC：学习和评估协方差的框架

    我们研究了无监督异方差协方差估计的问题，其中的目标是学习给定观察值 x 的多元目标分布 N (y, Σy|x)。我们通过推导 TIC：Taylor Induced Covariance 来解决预测协方差是否能真正捕捉到预测均值的随机性的问题，并通过引入 TAC：Task Agnostic Correlations 度量来解决在没有基准注释的情况下如何评估协方差估计性能的问题。我们的实验证明 TIC 在准确学习协方差方面优于现有技术，并通过 TAC 进行了量化。

    Oct, 2023

  • MixCo：视觉表征的混合对比学习

    本篇论文提出一种名为 MixCo 的半阳性对比学习方法，它可以通过学习混合图像的相关相似度，有效提高自我监督学习中的图像表示性能。在实验中，MixCo 在 TinyImageNet、CIFAR10 和 CIFAR100 等基准测试集上一致地提高了测试准确率，且当模型大小等学习能力受限时，改进效果更为显著。

    Oct, 2020

  • 扩展动量对比法：基于交叉相似性一致性正则化

    该篇论文论述了一种名为 Extended Momentum Contrast (XMoCo) 的自我监督表示学习方法，该方法利用新的跨一致性正则化损失来扩展 MoCo 家族配置中动量编码器单元的框架，以处理消极样本交互所存在的特定差异和相似性。

    Jun, 2022

  • 提高对比表示学习中的变换不变性

    本文主要介绍了强化对比学习得到的表示的不变性的方法，通过引入新的正则化器、特征平均法和可微分生成过程，对旋转等变性进行限制和控制，提高了表示在后续任务中的表现和鲁棒性。

    Oct, 2020

  • 自监督对应学习的对比转换

    本研究旨在通过使用野外未标记视频进行自监督学习的视觉对应关系。我们的方法同时考虑了可靠对应估计的视频内部和视频间的表示关联。

    Dec, 2020

  • 自监督视觉表征学习的传递不变性

    文章介绍了一种利用自监督学习的图形结构来学习具有不变性特征的视觉表示，并应用该表示在不同的识别任务中取得了显著性能提升。

    Aug, 2017

  • EqCo: 自监督对比学习的等效规则

    本文提出 EqCo（基于等效规则的对比学习），可以使用仅包含极少数量负样本（如每个查询仅包含 16 个）的自监督对比训练在大规模图像数据集（如 ImageNet）上以接近原有准确率进行，缩短了当前实践中大型批量训练或记忆库机制所需的训练时间。此外，作者提出的 simplified MoCo（SiMo）在使用较少负样本情况下在 ImageNet 上表现与 MoCov2 相当，提示负样本数量不是对比学习框架的关键因素。

    Oct, 2020