Jan, 2022

利用 ViT 特征进行语义外观转换

PDF
TL;DR本文介绍了一种名为 Splice 的方法，通过集成 ViT 模型的语义信息，将一个自然图像中的物体的视觉外观转移到另一个图像中，该方法不需要使用对抗训练，也不需要任何额外的输入信息。
image transfersemantic informationvision transformervisual appearancesplice
发现论文，激发创造
  • 在 ViT 特征空间中解耦结构和外观

    我们提出了一种语义外观传输的方法，通过利用预先训练的和固定的视觉 Transformer（ViT）模型，提取深度 ViT 特征中结构和外观的新型解耦表示，然后通过 ViT 特征空间中的目标函数将这些表示相互编织在一起，提出了两种语义外观传输的框架 ——Splice 和 SpliceNet。

    Nov, 2023

  • 跨图像注意力的零样本外观转换

    利用文本到图像生成模型中的语义知识，在具有相似语义但形状可能差异大的物体之间进行视觉外观转换，通过建立跨图像的注意力机制和利用噪声编码或模型内部表示来提高输出图像质量，实现了零训练的目标。

    Nov, 2023

  • 自然语言语义下的视觉 Transformer

    通过引入基于分割模型的新型分词器策略，语义视觉转换器（sViT）在捕获显著特征和全局依赖关系的同时，提高了解释性和鲁棒性，相较于传统视觉转换器模型（ViT）在训练数据需求、分布泛化和解释性方面表现得更优。

    Feb, 2024

  • 以语义对应的扩散模型实现外貌转换

    介绍了一种通过语义对应关系对图像进行外观转移的方法，该方法使用预先训练的文本到图像扩散模型，并通过重新排列特征来提高结果的准确性。

    Jun, 2024

  • 基于渐进语义引导的视觉变形器用于零样本学习

    我们提出了一种用于零样本学习的渐进式语义引导视觉 Transformer（ZSLViT），通过语义嵌入令牌学习改进视觉 - 语义对应关系，发现语义相关的视觉令牌，并且通过弱语义 - 视觉对应关系融合来舍弃与语义无关的视觉信息，从而在零样本学习中实现准确的视觉 - 语义交互作用，我们的 ZSLViT 在 CUB、SUN 和 AWA2 等三个常用基准数据集上取得了显著的性能提升。

    Apr, 2024

  • 利用深层 ViT 特征作为密集的视觉描述符

    本文研究使用预训练的 Vision Transformer (ViT) 提取的深度特征作为密集的视觉描述符，提出了基于无监督 DINO-ViT 模型提取特征的简单方法，可用于各种领域的相关应用，包括共分割、语义对应等。经过大量定量和定性分析得出了符合竞争性的结果，并且较之前的无监督方法有了很大的提高。

    Dec, 2021

  • 一种中间融合的 ViT 在扩散模型中实现了高效的文本 - 图像对齐

    通过使用中间融合机制，我们在文本生成图像任务上获得了更高的 CLIP 得分，更低的 FID，与早期融合相比减少了 20% 的运算量，并且训练速度提高了 50%。

    Mar, 2024

  • 基于语义解析变换的无监督人物图像生成

    本文提出了一种无监督学习的姿态引导的人物图像生成方法，通过将生成人体的硬映射分解为语义解析和外貌生成两个子任务的形式，实现了人体的变形生成。

    Apr, 2019

  • 提升视觉 Transformer 的对抗传递性

    本研究通过提出两种攻击策略，Self-Ensemble 和 Token Refinement，充分利用了 Vision Transformers 的自注意力和组合性质来增强对抗攻击的传递性能。

    Jun, 2021

  • 语义合成图像

    提出利用语义布局来综合生成逼真图像的新方法，该方法建立了区域之间的依赖关系并通过动态加权网络实现，既保留了语义区分，同时加强了语义相关性，提高了全局结构和细节的合成质量。

    Sep, 2021