Mar, 2024

U-VAP: 用户指定的视觉外观个性化通过解耦的自助增强

PDF
TL;DR通过提出一种新的去耦合自增强策略来生成与用户指定的视觉属性相关和不相关的样本，从而改进个性化模型的对目标属性的理解，进一步增强目标属性的解藕，从而在新颖情境中模拟目标的视觉外观，提高个性化的可控性和灵活性。
concept personalization methodsfine-grained visual appearance personalizationdecoupled self-augmentation strategyuser-specified visual attributescontrollability and flexibility of personalization
发现论文，激发创造
  • ViTAA: 自然语言下的人物搜索中，视觉 - 文本属性对齐

    本文提出一种基于属性对齐的视觉 - 文本对齐方法 (ViTAA)，通过较轻的属性分割计算模块分离人物特征空间并使用对比学习损失函数对视觉和文本属性进行对齐，从而成功提升了自然语言下的人物搜索和属性 - 短语查询任务的表现，实现了最先进的结果。

    May, 2020

  • ViCo：细节保留的视觉条件用于个性化文本到图像生成

    研究以个性化图像为导向使用扩散模型生成的技术，并提出了用于快速个性化生成的插入式模块 ViCo，包括图像注意力模块和基于文本图像注意力地图的正则化方法。其不需要微调原始扩散模型的参数，但能达到目前同类模型的最佳表现。

    Jun, 2023

  • 无图像的自然语言处理任务的视觉增强预训练语言模型

    本文提出了一种新的视觉增强微调方法，名为 VAWI, 该方法能够将视觉语义注入到不同 PLMs 或自然语言处理任务中，通过使用视觉饥饿字词的固定 CLIP 文本编码器来产生视觉增强表示，引入了视觉语义，实验结果表明该方法能够改善 BERT、RoBERTa、BART 和 T5 的性能，并显著优于其他竞争基线。

    Dec, 2022

  • 解耦属性和物体的视觉嵌入

    本研究针对目标属性识别的组合式零样本学习问题，提出了一种新颖的体系结构，用于在视觉空间中区分属性和对象特征并使用视觉分解特征产生代表性的嵌入，旨在更好地正则化模型的学习，实验结果表明我们的方法在 MIT-States，UT-Zappos 和基于 VAW 的新基准上的性能显著优于现有工作。

    May, 2022

  • 通过基于风格转移的增量数据增强提升在新环境中的视觉感知

    利用变分原型编码器（VPE）增强视觉感知，通过神经风格迁移不断增加数据以充实少数类别，比较只使用原始数据集训练的模型与使用原始数据集和增强数据集训练的模型，发现后者的性能显著提高，强调了数据增强在提升模型鲁棒性方面的关键作用，提出将生成模型用于特定领域增强策略的潜在益处。

    Sep, 2023

  • 增强虚拟试衣自我监督视觉变换

    虚拟试衣技术的创新方法，结合自监督视觉变换器和扩散模型，通过对比局部衣物图像嵌入与全局嵌入来实现细节增强，条件引导和关注关键区域等技术的融合进一步提高了虚拟试衣体验的真实感和精确度。

    Jun, 2024

  • 在 ViT 特征空间中解耦结构和外观

    我们提出了一种语义外观传输的方法，通过利用预先训练的和固定的视觉 Transformer（ViT）模型，提取深度 ViT 特征中结构和外观的新型解耦表示，然后通过 ViT 特征空间中的目标函数将这些表示相互编织在一起，提出了两种语义外观传输的框架 ——Splice 和 SpliceNet。

    Nov, 2023

  • 基于文本条件的语境化头像生成用于零样本定制化

    本文提出了一个零射击的管道，该管道可以通过捕捉用户的身份以令人愉悦的方式进行头像生成，具有个性化的图像生成特征，此外，作者使用大规模图像数据集学习人类 3D 姿态参数，克服了动作捕捉数据集的局限性。

    Apr, 2023

  • 基于文本指导的人物图像合成

    本论文提出了一种新颖的方法，根据自然语言描述操纵人物图像的视觉外观和姿态，并进行了广泛的实验以证明该方法的有效性。

    Apr, 2019

  • 无监督模型个性化保护隐私和可扩展性：一个开放性问题

    本文研究了无监督模型个性化任务，提出了一个新的 Dual User-Adaptation 框架，通过服务器端模型个性化和用户设备上的本地数据正则化，实现了可伸缩性和本地数据隐私保护的用户自适应模型。

    Mar, 2020