Jun, 2023

学习分离提示以进行组合图像合成

PDF
TL;DR通过预训练的条件生成模型和视觉提示调优，本文提出了一种领域自适应图像合成框架，能够从少至一张图像中学习出语义和领域的解耦提示，并以目标领域风格合成图像，并进一步应用于零样本领域适应分类，实现了组合泛化。
domain-adaptive image synthesispretrained generative modelsvisual prompt tuningdisentangled promptszero-shot domain adaptation
发现论文，激发创造
  • PromptKD: 无监督的视觉语言模型提示蒸馏

    在这篇论文中，我们介绍了一种无监督域提示蒸馏框架，通过使用未标记的领域图像进行提示驱动的模仿，旨在将更大的教师模型的知识转移给轻量级目标模型。

    Mar, 2024

  • 生成式迁移学习的视觉提示调整

    本文探讨了基于视觉转换器（vision transformers）进行生成性知识转移的方法，通过引入可学习的提醒（prompt）标记和设计，成功地实现了良好的图像生成质量和知识转移。

    Oct, 2022

  • 通过视觉领域提示生成适应分布转变

    提出一种在测试时使用少量无标签数据进行模型适应以应对分布偏移的方法，通过利用预训练模型和源域的相关信息从有限数据中提取领域知识，并通过建立知识库、领域特定提示生成器、引导模块、领域感知对比损失和元学习等技术实现领域知识的提取。在多个基准测试中验证了该方法，表明该方法在领域知识提取方面优于之前的工作。

    May, 2024

  • 通过图像特定提示学习进行零样本生成模型适应

    该研究项目提出了一种名为图像特定提示学习（IPL）的方法，能够为每个源域图像学习特定的提示向量，从而为每个跨域图像对提供更准确的适应方向，增强目标域生成器的灵活性，并改善合成图像的质量和多样性。

    Apr, 2023

  • 无监督多领域多模态图像到图像转换与显式领域约束解耦

    本文提出了一个使用无成对训练数据和单个网络同时训练不同域的多个数据集来学习生成多样化输出的统一框架，并研究了如何更好地提取域监督信息以学习更好的分离表征和实现更好的图像翻译的方法。实验表明，所提出的方法优于或与最先进的方法相当。

    Nov, 2019

  • 跨域泛化的过渡式视觉 - 语言提示学习

    通过使用深度视觉提示以解决域不变性问题，结合语言提示以确保类别可分离性，以及自适应权重机制来平衡域不变性和类别可分离性，本文介绍了一种新的提示学习策略，并通过广泛实验证明深度视觉提示有效提取域不变特征，显著提高深度模型的泛化能力，在三个数据集上取得了最先进的性能。

    Apr, 2024

  • 对比提示改善文本到图像扩散模型中的解缠

    通过对分类器的自由引导的简单修改，该论文展示了 Contrastive Guidance 方法可以帮助在文本到图像模型中解开图像因素，从而提供对图像因素更精细的控制。该方法的关键思想是使用两个仅在最小标记上有差异的提示对所需的因素进行描述，其中正面提示描述待合成的图像，基准提示作为 “基准” 以解开其他因素。这种方法在三个场景下的优势体现为：（1）指导在对象类上训练的领域特定扩散模型，（2）为文本到图像生成提供连续的、类似骨骼的控制，以及（3）提高零 - shot 图像编辑器的性能。

    Feb, 2024

  • 使用预训练 Transformer 的 S-Prompts 学习：领域增量学习的 Occam 剃刀

    本研究提出了 S-Prompting 范式和两种方法，通过独立学习提示，从而高度减少领域增量学习（DIL）中的遗忘程度，实现了深度神经网络在连续学习中一个最典型的场景 -- 领域增量学习（DIL）中的最佳表现。

    Jul, 2022

  • 医学图像分类的基于提示的潜在领域泛化

    我们提出了一种名为 Prompt-driven Latent Domain Generalization（PLDG）的新型无标签领域通用化（DG）框架，通过无监督领域发现和提示学习，实现了对医学图像分类的领域通用化，并在三个医学图像分类任务和一个去偏任务上展开了广泛实验，证明了我们的方法在不依赖领域标签的情况下实现了与传统 DG 算法相媲美甚至更好的性能。

    Jan, 2024

  • StyleGAN-NADA：基于 CLIP 引导的图像生成器域自适应

    使用大规模对比性语言 - 图像预训练（Contrastive-Language-Image-Pre-training，CLIP）模型极具语义能力的特点，实现了使用文本提示来训练生成模型，无需看到图像的 “盲目” 图像生成方法。通过少量的训练，我们的方法不断适应多个具有不同样式和形状特征的领域，并维持对未来任务有吸引力的潜在空间属性。

    Aug, 2021