Sep, 2023

自监督表示学习的结构对抗目标

PDF
TL;DR在生成对抗网络（GAN）框架中，通过额外的结构建模责任，我们提出了使鉴别器能够进行自监督表示学习的目标。结合在网络上施加的高效光滑正则化器，这些目标指导鉴别器学习提取信息性表示，同时保持能够从领域中进行采样的生成器。具体而言，我们的目标鼓励鉴别器在两个粒度级别上对特征进行结构化处理：在粗粒度上对齐分布特征，如均值和方差，在细粒度上将特征分组为本地聚类。作为 GAN 框架中的特征学习器，我们的自监督系统不再依赖于普遍存在于对比表示学习方法中的手工数据增强方案。在 CIFAR-10/100 和 ImageNet 子集上的实验表明，配备我们的自监督目标的 GAN 能够产生在表示学习方面与对比学习方法训练的网络竞争的鉴别器。
发现论文，激发创造
  • 自监督生成对抗网络中的辅助旋转损失

    利用对抗性训练和自监督技巧，通过任务的表示学习促进判别器学习有意义的特征表示的全无监督学习方法产生高质量的图像。在相同的条件下，自监督生成对抗网络的表现与有标记数据的生成网络相似。同时，我们还演示了该方法可扩展到一个无条件的图像集中，以实现 FID 为 23.4.

    Nov, 2018

  • 生成模型的判别性正则化

    本文探讨了分类器是否可以用于提高生成模型的质量，并提出了一种使用判别分类器的表示来增强生成模型的目标函数的方法。研究表明，用这种方法增强目标函数可以产生比标准变分自编码器更清晰、视觉质量更高的样本。

    Feb, 2016

  • 自监督 GAN 抵御遗忘

    本文介绍了如何通过自我监督方法对 GAN 模型中的鉴别器进行改进，以避免其出现遗忘现象，提高模型性能。

    Oct, 2018

  • 通过生成对抗和排序网络进行弱监督目标发现

    本文介绍了一种新颖的网络训练方法和学习目标，采用深度生成对抗网络以及新的相似度度量方法，用于发现图片中的多个对象实例、弱监督对象检测及排名 GAN，以实现对应用的提高和优化。

    Nov, 2017

  • 自监督生成对抗网络用于无监督少样本物体识别

    本研究针对无监督 few-shot 目标识别，使用两种 GAN 损失函数进行自监督学习，实验结果表明该方法在 Mini-Imagenet 和 Tiered-Imagenet 数据集上显著优于现有技术。

    Aug, 2020

  • 全局和物体中心的自监督学习

    本文研究了利用自监督学习获取对象集中表示的关键方面，并在 CLEVR 数据集上运行了一些实验来验证我们的见解。我们的结果表明，竞争式注意力对象发现对于学习对象集中表示非常重要。对于训练，我们证明了在潜在空间中应用具有匹配性的对比损失，避免了基于像素的重建。但是，该优化目标对假阴性（重复对象）和假阳性（匹配错误）非常敏感。因此，需要仔细考虑数据增强和负样本选择。

    Mar, 2022

  • 自协同学习：生成器与鉴别器之间的协作

    本文提出了一种自洽学习的框架，利用生成对抗网络的生成模型和判别模型的博弈优化，使两者协同训练，避免了 GAN 训练不稳定的问题，并在句子语义匹配问题上实现了较好的性能。

    Mar, 2023

  • 使用生成式目标进行语句表示学习，而非对比式目标

    本文提出了一种基于短语重构的生成式自监督学习目标，从而在获得上下文化标记级别表示的同时，有效获取句子级别表示，在句子结构的建模上进行了精细的设计，实验结果表明，该方法在语义检索和重排序任务上超越当前最先进的对比方法。

    Oct, 2022

  • 使用代表性特征改进生成式对抗网络的训练

    本论文使用预训练自编码器的代表特征隐式规范鉴别器，通过影响反向和正向 KL 距离使得 GAN 的训练更稳定，在图像质量和多样性上都有提高。

    Jan, 2018

  • 基于扩增感知的自监督学习，用于数据有效的 GAN 训练

    提出了一种新型的、基于增强现实的自监督辨别器，并利用预测参数作为判别阈值，减弱了旧行的数据不变性，显著提升了数据效率，实验结果优于其他 GANs

    May, 2022