Mar, 2024

GenView: 使用预训练生成模型提升自监督学习的视图质量

PDF
TL;DR自监督学习通过从无标签数据中获取高质量的表示已经取得了显著的成功。GenView 是一个可控的框架，通过增加积极视角的多样性利用预训练生成模型的能力，同时保留语义。研究中引入了自适应视角生成方法来调整采样噪声水平，以确保保留基本语义意义并引入变异性。此外，引入了质量驱动的对比损失，通过考虑前景相似性和背景多样性评估正样本对的质量。GenView 明显改善了各种任务中的自监督学习性能，例如，在 ImageNet 线性 / 半监督分类上，GenView 将 MoCov2 的性能提高了 2.5％/2.2％。此外，与简单地使用 Laion400M 或 ImageNet21K 扩充 ImageNet 数据集相比，GenView 的性能更好。
self-supervised learningcontrastive learningpositive viewsgenerative modelssemantic meaning
发现论文，激发创造
  • 从单张图像中无监督生成新视角

    本论文提出了一种基于生成对抗网络的条件生成模型，通过无监督学习实现在没有多视角、3D 和姿态监督的情况下进行从单一图像到新视角的合成。

    Feb, 2021

  • 深度生成视图集成

    使用预训练生成器，通过对潜在代码进行扰动以创建自然图像的变化，然后使用 StyleGAN2 进行分类任务，并发现该过程存在多个设计决策，包括扰动程序、增强图像和原始图像之间的加权以及对合成图像进行训练的分类器等，最终发现，虽然使用基于 GAN 的增强可以带来小幅改进，但 GAN 重构的效率和精度，以及分类器对 GAN 生成图像的敏感性仍然是瓶颈。

    Apr, 2021

  • 生成模型作为多视角表示学习的数据源

    研究了从黑盒生成模型而不是数据直接学习通用视觉表达式的设置，通过该生成器的样本输出训练，比较了几种可应用于该设置的表征学习方法，使用生成器的潜空间来生成相同语义内容的多个 “视图”，表明多视图数据可以自然地用于识别正面对和负面对。

    Jun, 2021

  • 联合生成和对比学习用于无监督的人物重新识别

    本文研究基于自监督对比学习的无监督人员再识别问题，提出了一种结合了生成对抗网络和对比学习模块的联合训练框架。该框架中，基于网格投影技术的视角生成器提供了数据增广，而对比学习模块则学习了生成视角不变特征。此外，引入了一种视角不变损失用于原始样本和生成样本之间的对比学习。实验结果表明，该方法在多个大规模数据集上进行了全面的性能测试，均取得了比先前研究更好的效果。

    Dec, 2020

  • AutoGCL: 可学习视角生成的自动图对比学习

    本文提出了一种名为 AutoGCL 的新型对比学习框架，该框架运用一组可学习的图视图生成器通过自动增强策略生成对比样本，提高了现有对比学习方法的构图灵活性和语义保留能力，同时实现了端到端的训练，经过大量实验证明相对于现有方法具有更好的性能和更加紧凑准确的对比样本。

    Sep, 2021

  • 自监督表示学习的定位加速

    通过数据驱动的前景显著性估计和复制粘贴来生成图像视图，实现对背景不变性的学习，从而训练代表性忽略背景内容并专注于前景的对比学习模型，并实现了在 ImageNet 分类和 PASCAL VOC、MSCOCO 目标检测上的显著性能提升。

    Apr, 2020

  • 无需视角监督的多视角数据生成

    提出了一种基于无监督多视图生成模型的条件变体，可在高维空间中生成各种物体的逼真样本，相比于其他条件生成方法，我们不会对变差因素做任何假设，不需要视图的监督。

    Nov, 2017

  • 对比学习的好视角是什么？

    这篇论文研究不同视角之间的关联性对于对比学习在无监督和半监督任务中的重要性，并提出通过减少视角之间的互信息来学习有效的视角以提高下游任务的准确性。同时，作者在 ImageNet 分类和 PASCAL VOC 目标检测以及 COCO 实例分割任务上通过对比实验展示了他们提出方法的高效性。

    May, 2020

  • 生成模型能否改善自监督表示学习？

    自我监督学习通过使用生成模型生成语义一致的图像增强，丰富了学习强大视觉表示的方法，并显著提高了学习到的视觉表征的质量。

    Mar, 2024

  • 无预设数据增强的图形对比学习：自定义视图

    本研究利用自监督学习的方法，在图形学习中，通过数据生成学习可学习的连续先验，并利用信息最小化和信息瓶颈原则对学习的先验进行规范化，用于构建双层优化框架，并在小规模和大规模图表上展示了比同类方法更好的学习效果。

    Jan, 2022