ContraFeat: 对比深度特征用于语义发现
本文在使用 StyleGAN2 生成人脸的场景下提出了一种新方法,通过利用现有人脸分析模型(例如人脸解析器和人脸关键点检测器),对潜在子空间的语义进行解缠,并且提供了在此过程中的丰富潜在空间控制,同时提出了一种新的透视法来解释 CNN 分类器的行为,能够帮助揭示分类器所学习到的语义是否合理。
Jan, 2022
使用对比学习方法和两个损失函数(fake-to-fake 和 fake-to-real)来提高文本到图像合成任务中生成图像的语义一致性和精细细节,实验结果在 CUB 数据集上的 AttnGAN 模型和 COCO 数据集上的 Lafite 模型上优于现有方法。
Dec, 2023
通过学习样本数据的潜在分布,生成对抗网络(GAN)最近推动了图像合成的进展。本文通过使用预训练的 StyleGAN 生成器作为已学习的损失函数,并利用其分层表示来训练新的层次编码器,展示了学习图像合成如何产生通用于广泛应用的出色分层视觉特征。通过广泛的定性和定量实验结果表明,GH-Feat 具有很强的可转移性,可以应用于图像编辑、图像谐调、图像分类、脸部验证、地标检测和布局预测等生成和判别任务。
Jul, 2020
本文提出使用有别于过往方法的对比公式来实现 CONtrastive FEaTure and pIxel alignment (CONFETI),并使用类别间跨领域信息将像素级和特征级(采用像素原型对比方法)的对齐相结合,以用于解决合成和真实世界数据集之间的领域缺口问题,在 DeepLabV2 上优于现有最先进方法。
Jun, 2023
通过训练一个生成器来分别对局部语义部分进行建模,控制不同区域的纹理并且实现更加细粒度的合成和编辑,SemanticStyleGAN 作为具有内置解缠结的通用先验模型,可以促进基于 GAN 的应用程序的发展并实现更多的下游任务。
Dec, 2021
SegDiscover 是一个无人监督语义分割框架,通过从原始图像生成概念原语、在自监督预训练编码器的潜在空间中进行聚类以及神经网络平滑来发现语义上有意义的视觉概念。实验结果表明,该方法可以在单个图像中发现多个概念,并在包括 Cityscapes 和 COCO-Stuff 等复杂数据集上优于最先进的无监督方法。此方法还可以作为神经网络解释工具使用,通过比较不同编码器得出结果。
Apr, 2022
通过对视图重要性进行融合,并通过聚类级对比学习和语义特征度量来减弱假阴性对之间的对比学习,我们提出了一个名为 DCMCS 的多视图聚类框架,用于减轻假阴性对的影响。实验结果表明,该框架优于现有方法。
Mar, 2024
本文提出了一个名为 InterFaceGAN 的新框架,用于解释 GAN 学习到的语义面部编辑,并深入研究不同语义如何编码在 GAN 的潜在空间中。我们发现,精心训练的生成模型的潜在编码实际上学习了一个分离的表示,在线性变换后解旋,通过子空间投影来解开某些绑定属性,实现更精确的面部特征控制,并产生可控的面部属性表示的结果表明 GAN 具有生成高保真图像的能力。
Jul, 2019