May, 2024

基于自适应动态融合网络的基于语言的时尚检索系统

PDF
TL;DR在语言和时尚图像检索的领域中，使用参考图像和相应的文本描述来定位所需的时尚项目是一个有趣的挑战。本文提出了一种自我提取的动态融合网络，通过同时考虑路由路径的一致性和模态特定信息，动态地组合多粒度特征。我们的方法包括两个新模块：（1）具有模态特定路由器的动态融合网络，通过考虑参考图像和修改文本的不同语义和分布，实现了灵活的路由确定；（2）自我路径提取损失，通过使用先前路径信息逐步改进查询的路径决策，有利于特征提取和路由的优化。大量实验证明了我们提出的模型相对于现有方法的有效性。
language-based fashion image retrievaldynamic fusion networkmodality-specific routersself path distillation lossfeature extraction
发现论文，激发创造
  • 时尚图像编辑的多模态条件化潜扩散模型

    该论文探讨了多模态条件下的时尚图像编辑任务，提出了一种基于多模态指导的生成方法，利用时尚设计的文本、人体姿势、服装草图和面料纹理等多模态提示生成以人为中心的时尚图像。实验证明了提出方法在现实感和一致性方面的有效性。

    Mar, 2024

  • FashionSD-X: 多模态时尚服装合成基于潜在扩散

    这篇研究论文介绍了一种新颖的生成性流程，通过使用潜在扩散模型改变了时尚设计过程，利用 ControlNet 和 LoRA 微调生成高质量图像，从文本和草图等多模态输入生成。我们结合草图数据，对包括 Multimodal Dress Code 和 VITON-HD 在内的最先进的虚拟试穿数据集进行了整合和增强。通过使用 FID、CLIP 评分和 KID 等指标进行评估，我们的模型明显优于传统稳定扩散模型。结果不仅突显了我们模型在生成符合时尚要求的输出方面的效果，也凸显了扩散模型在改革时尚设计工作流程中的潜力。这项研究为时尚设计和表达领域提供了更具互动性、个性化和技术丰富的方法，弥合了创意愿景与实际应用之间的差距。

    Apr, 2024

  • FaD-VLP: 面向统一检索和说明的时尚视觉语言预训练

    提出了一个基于三元组生成的时尚特定预训练框架和可同时执行时尚检索和字幕任务的灵活解码器模型设计，具有跨模态检索、图像检索、图像字幕和多模态分类等多种功能。

    Oct, 2022

  • 基于预训练多模态大模型的动态自适应多尺度蒸馏，用于高效的跨模态表示学习

    为了在计算资源有限的环境下部署高级多模态技术，我们提出了一种从预训练多模态大模型中动态自适应多尺度蒸馏的方法，通过仅使用输出特征和原始图像级信息来优化模型，显著降低复杂性和训练成本，实现了跨模态检索任务的最先进性能。

    Apr, 2024

  • 多阶段扩散模型的层次化时装设计

    提出了一种名为 HieraFashDiff 的新型时尚设计方法，通过使用共享的多阶段扩散模型，包含高层设计概念和低层服装属性的层次结构，允许设计师在高级提示后逐步交互式编辑以添加低层属性。在我们新建的层次时尚数据集上进行的全面实验表明，我们提出的方法优于其他最先进的竞争方法。

    Jan, 2024

  • 通过动态路径定制实现图像字幕

    本文探索一种新颖的动态网络以应对视觉和语言任务，其中推理结构针对不同输入动态定制。通过引入基本单元并在空间和通道运算领域分组，以构建丰富的路径空间和提升路径选择效率，我们设计了一个空间 - 通道联合路由器来根据输入样本的空间和通道信息进行路径定制，并在 MS-COCO 数据集上进行实验证明了提出的动态变压器网络的有效性，获得了 Karpathy 分割和在线测试服务器上的最新最佳性能。

    Jun, 2024

  • 相互指导的动态网络图像融合

    我们提出了一种新颖的相互引导动态网络（MGDN）用于图像融合，该网络允许有效地利用来自不同位置和输入的信息。实验结果表明，我们提出的方法在四种图像融合任务上优于现有方法。

    Aug, 2023

  • MMFL-Net: 跨界时尚检索的多尺度和多粒度特征学习

    提出了一种新颖的多尺度、多粒度特征学习网络（MMFL-Net），旨在训练一个 C2S 时装视觉相似性的跨领域模型，其中包括对抗域差异的设计和多任务属性识别和分类模块的组合。

    Oct, 2022

  • 多模态数据自适应融合技术

    本研究提出了两种自适应融合网络（Auto-Fusion、GAN-Fusion），通过对不同模态的特征进行有效的上下文建模，在多模态机器翻译和情感识别等任务中取得了比现有方法更好的效果。

    Nov, 2019

  • FashionFlow: 利用扩散模型从静态图像生成动态时尚视频

    我们的研究介绍了一种名为 FashionFlow 的新型图像 - 视频生成器。通过利用扩散模型，我们能够从静止图像中创建短视频。我们的方法涉及开发和连接与扩散模型相关的组件，这使得我们的工作与众不同。这些组件包括使用伪 3D 卷积层高效生成视频。VAE 和 CLIP 编码器从静止图像中捕获重要特征以影响扩散模型。我们的研究展示了成功合成时尚视频，展示了模特从多个角度展示服装的合身和外观。我们的发现对于改进和提升在线时尚行业的购物体验具有巨大潜力。

    Sep, 2023