CVPRApr, 2023

通过图像特定提示学习进行零样本生成模型适应

PDF
TL;DR该研究项目提出了一种名为图像特定提示学习（IPL）的方法，能够为每个源域图像学习特定的提示向量，从而为每个跨域图像对提供更准确的适应方向，增强目标域生成器的灵活性，并改善合成图像的质量和多样性。
clip-guided image synthesisadaptation directionimage-specific prompt learningmode collapsegenerative models
发现论文，激发创造
  • StyleGAN-NADA：基于 CLIP 引导的图像生成器域自适应

    使用大规模对比性语言 - 图像预训练（Contrastive-Language-Image-Pre-training，CLIP）模型极具语义能力的特点，实现了使用文本提示来训练生成模型，无需看到图像的 “盲目” 图像生成方法。通过少量的训练，我们的方法不断适应多个具有不同样式和形状特征的领域，并维持对未来任务有吸引力的潜在空间属性。

    Aug, 2021

  • AD-CLIP: 利用 CLIP 在提示空间中调适领域

    使用 AD-CLIP 解决图像领域适应问题，通过在 prompt 空间中提取图像风格和内容信息，采用标准的有监督对比学习和最小熵策略来对齐源领域和目标领域，同时提出跨领域风格映射网络来生成领域无关的标记，实验证明了 AD-CLIP 的有效性。

    Aug, 2023

  • 利用无监督提示学习改进图像字幕泛化性能

    通过无监督的提示学习方法，本文提出了一种改进图像字幕生成通用性的方法，该方法利用预训练的视觉 - 语言模型来学习目标领域的特定提示向量，通过属性一致性和语义一致性优化领域特定提示向量，从而有效地保留了大型模型中的知识并引入了领域特定知识。

    Aug, 2023

  • 视觉语言模型的无监督提示学习

    本文提出了一种无监督提示学习（UPL）方法，以避免提示工程并同时提高类似 CLIP 的视觉语言模型的传递性能。该方法实验结果显示，在 ImageNet 以及其他 10 个数据集上，与原始 CLIP 相比，UPL 具有更优秀的传输表现，并且增强版的 UPL 在大多数数据集上甚至能够与 8-shot CoOp 和 8-shot TIP-Adapter 竞争。

    Apr, 2022

  • PromptKD: 无监督的视觉语言模型提示蒸馏

    在这篇论文中，我们介绍了一种无监督域提示蒸馏框架，通过使用未标记的领域图像进行提示驱动的模仿，旨在将更大的教师模型的知识转移给轻量级目标模型。

    Mar, 2024

  • ReCLIP：使用源域自适应提炼对比语言图像预训练

    通过提出 ReCLIP 方法，第一个无需源数据或目标标记数据的视觉 - 语言模型领域自适应方法，该方法使用伪标签进行交叉模态自训练以减小领域间差异和错位对模型性能的影响，在 22 个图像分类基准测试中将 CLIP 的平均错误率从 30.17% 降低到 25.06%。

    Aug, 2023

  • 概念引导下的提示学习进行视觉 - 语言模型泛化

    通过概念引导提示学习的方式，CPL 方法显著提高了通用化性能。

    Jan, 2024

  • 通过视觉领域提示生成适应分布转变

    提出一种在测试时使用少量无标签数据进行模型适应以应对分布偏移的方法，通过利用预训练模型和源域的相关信息从有限数据中提取领域知识，并通过建立知识库、领域特定提示生成器、引导模块、领域感知对比损失和元学习等技术实现领域知识的提取。在多个基准测试中验证了该方法，表明该方法在领域知识提取方面优于之前的工作。

    May, 2024

  • 领域控制的提示学习

    通过领域控制的提示学习方法，我们利用大规模特定领域基础模型和轻量级神经网络，在特定领域的遥感图像和医学图像中实现了最先进的性能，同时解决了过拟合挑战。

    Sep, 2023

  • 生成式迁移学习的视觉提示调整

    本文探讨了基于视觉转换器（vision transformers）进行生成性知识转移的方法，通过引入可学习的提醒（prompt）标记和设计，成功地实现了良好的图像生成质量和知识转移。

    Oct, 2022