样式分割：使用 StyleGAN 和 CLIP 的无监督语义图像分割

Jul, 2021

样式分割：使用 StyleGAN 和 CLIP 的无监督语义图像分割

Segmentation in Style: Unsupervised Semantic Image Segmentation with Stylegan and CLIP

Daniil Pakhomov, Sanchit Hira, Narayani Wagle, Kemar E. Green, Nassir Navab

TL;DR本文提出了一种基于 StyleGAN2 模型和 CLIP prompts 的自动图像分割方法，可以发现意义明确且一致的语义类群，从而创建合成数据集进行训练，并在公开数据集上展示了最新的结果。

Abstract

We introduce a method that allows to automatically segment images into semantically meaningful regions without human supervision. Derived regions are consistent across different images and coincide with human-defined semantic classes on some datasets. In cases where semantic regions might be hard for human to define and consistently label, our method is stil

automatic image segmentation semantic classes stylegan2 generative model synthetic dataset clip prompts

发现论文，激发创造

CLIP2StyleGAN：无监督提取 StyleGAN 编辑方向

本文提出一种方法将 StyleGAN 和 CLIP 的预训练潜空间有效链接，从而能够自动从 StyleGAN 中提取语义标注的编辑方向，找到并命名有意义的编辑操作，而不需要任何额外的人类指导

Dec, 2021

使用 CLIP 引导的 StyleGAN 实现即时目标检测

利用现代生成模型和多模态学习的组合潜能，本研究提出了一种完全自动化的框架，可对卫星图像上的目标进行检测。我们利用 CLIP（Contrastive Language-Image Pre-Training）的能力来将图像特征与文本描述相关联，并识别生成器网络中的神经元以构建即时目标检测器。

Oct, 2022

CLIP-S$^4$: 语言引导的自监督语义分割

本文通过自监督学习及视觉 - 语言模型，提出了 CLIP-S4 方法，该方法可以在不需要人类注释和未知类信息的情况下进行各种语义分割任务，包括无监督、迁移学习和语言驱动分割，并在未知类别识别上表现出良好的性能优势。

May, 2023

StyleCLIP: 基于文本的 StyleGAN 图像操作

本文探讨了如何利用 Contrastive Language-Image Pre-training (CLIP) 模型，开发基于文本的 StyleGAN 图像操作界面。新方法不需要人工干预，通过文本提示即可对输入的潜在向量进行修改，并引入了潜在映射器，提高了文本驱动的操作效率。实验表明该方法非常有效。

Mar, 2021

生成艺术家：一种语义感知和可控的 CLIP 样式转换器

本文介绍了一种基于预训练的 CLIP 文本 - 图像嵌入模型和 FCN 语义分割网络的图像风格转移框架，其中 Generative Artisan 解决了 CLIPstyler 的失败情况，并在肖像和包含人物的实景中获得了比 CLIPstyler 更好的定量和定性结果，使得商业场景如修图图形软件成为可能。

Jul, 2022

使用 CLIP 的半监督图像字幕生成

本文提出了一种利用 CLIP 模型进行半监督图像标注的方法，包括图像编码器、映射网络和语言模型，通过对比生成的标题和实际标题，并使用未标记的图像进行二次训练，得到了与完整数据集训练的业界最先进模型相比可比的性能，且标题更加独特、信息量更大，并且符合人类的偏好。

Jun, 2023

SegCLIP: 可学习中心的补丁聚合方法用于开放式语义分割

本文提出了一个 CLIP-based 的模型，名为 SegCLIP，以无注释的方式实现了开放式词汇语义分割，其主要思想是通过训练文本 - 图像对来聚集有可学习中心的补丁形成语义区域。文中还在被屏蔽掉的补丁上提出了一种重构损失和基于超像素的 KL 损失与伪标签相结合来增强视觉表征，实验结果表明，该模型在与基线的比较中，在 PASCAL VOC 2012（+1.4% mIoU）、PASCAL Context（+2.4% mIoU）和 COCO（+5.6% mIoU）上实现了相当或更高的分割精度。

Nov, 2022

Labels4Free：使用 StyleGAN 进行无监督分割

提出一种利用 StyleGAN 生成的物体进行非监督分割的框架，通过在 StyleGAN2 发生器结构中引入分割分支、将生成器分为前景和背景网络，可使我们以非监督的方式生成前景物体的软分割掩模。根据多个物体类别的实验结果，它可以与最好的非监督分割方法相比实现明显的改善。

Mar, 2021

CLIP-DIY：CLIP 密集推理免费实现开放词汇语义分割

本文提出了一种名为 CLIP-DIY 的开放词汇语义分割方法，该方法利用现有的无监督目标定位方法，直接在不同尺度的补丁上利用 CLIP 的分类能力，并通过无监督的目标定位方法指导分割过程，从而在 PASCAL VOC 上获得了最新的零样本语义分割结果，并在 COCO 上表现与最佳方法相当。

Sep, 2023

CLIP 也是高效分割器：一种文本驱动的弱监督语义分割方法

利用 Contrastive Language-Image Pre-training (简称 CLIP) 模型进行图像级标注的弱监督语义分割 (WSSS) 是一项具有挑战性的任务。本文提出了一种 CLIP-ES 框架，结合了 softmax 函数、基于文本的驱动策略和一种实时的基于注意力机制的亲和度 (CAA) 模块，以及 CGL 损失，来提高 WSSS 的效率和性能。

Dec, 2022