Jul, 2023

面料的视觉语言

PDF
TL;DR我们介绍了 text2fabric，这是一个将自由文本描述与各种面料材料相链接的新型数据集。该数据集包括 15,000 个自然语言描述，与 3,000 个相应的面料材料图像相关联。通过分析数据集，我们确定了从描述中出现的紧凑词汇表、属性集和关键结构。这使我们能够准确理解人们如何描述面料，并为推广到其他类型材料绘制方向。我们还展示了我们的数据集使得像 CLIP 这样的大型视觉语言模型能够专门化，为面料外观创建有意义的潜在空间，并显著提高了细粒度材料检索和自动字幕等应用。
发现论文，激发创造
  • 使用自然语言描述纹理

    本文研究了纹理的视觉属性及对不同模型的影响，发现现有的生成和判别模型不能很好地捕捉纹理的组成属性。我们以证据支持了此观点，并提供了可解释性的模型来生成基于语言的解释，以加深对纹理分类的理解。我们通过在 Caltech-UCSD 鸟类数据集上进行精细分类，证明了该数据集上所学习到的纹理属性相比专家设计的属性能够实现显著改进。

    Aug, 2020

  • 基于材料分类的时尚纺织品数据集 - TextileNet

    通过构建第一个基于纤维和织物分类学的时尚纺织品数据集 TextileNet、使用标准卷积神经网络和视觉变换器建立基准模型，为纺织品分类和供应链优化提供可能

    Jan, 2023

  • 野外纹理描述

    通过创建 Describable Textures Dataset（DTD），使用 47 种纹理术语，将 IFV 应用于纹理识别，以认识和描述大型野外纹理数据集。这种方法不仅提高了纹理识别数据集的性能，而且也极大地提高了材料识别数据集的性能。

    Nov, 2013

  • 质量与数量：揭示百万高质量时尚设计文本到图像合成的图片

    AI 与时尚设计的融合已成为一个前景光明的研究领域，本论文提出了首个 Fashion-Diffusion 数据集，该数据集包含超过一百万高质量的时尚图片和详细的文本描述，并提供了多个用于评估时尚设计模型性能的数据集，推动了 AI 驱动的时尚设计领域的标准化和未来研究的进展。

    Nov, 2023

  • 连接外观和触感：关联物理材料的视觉和触觉属性

    该研究使用 118 个不同织物的颜色、深度图像数据和高分辨率触摸数据，借助 CNN 模型联合训练视觉和触摸数据，从而记录织物的物理性质，预测织物外观和触感特征，展示了这一训练方法的有效性。

    Apr, 2017

  • FIRST: 文本驱动的时尚综合与设计的百万条目数据集

    通过介绍一个新的包含一百万高分辨率时尚图像和丰富结构化文本描述的数据集，本研究旨在推进基于文本的时尚合成和设计领域的研究，为使用先进的生成模型进行时尚合成和设计提供必要性。

    Nov, 2023

  • 纹理识别、描述和分割的深度滤波器组

    本文提出了一种基于可描述纹理数据集的词汇表，用于描述常见的纹理模式，以及一些对应的图像识别技术，包括物体材质和纹理属性的实时识别，并通过将深度模型卷积层用作滤波器进行优化以获得卓越的性能。

    Jul, 2015

  • FashionTex: 可控的基于文本和纹理的虚拟试穿

    通过将文本和纹理相结合，FashionTex 框架能够在无需配对数据的情况下，对服装类型和纹理模式进行语义控制，从而支持全身肖像的用户友好型时尚定制。

    May, 2023

  • 自然语言描述生成高保真 3D 人脸

    本研究提出了一种基于自然语言描述生成高质量三维人脸模型的方法，通过建立 Describe3D 数据集以及使用两阶段框架来解决描述语言空间与形状 / 外观空间映射关系的问题，并且实验结果表明，该方法可以以比以往更高的精度和质量生成符合输入描述的三维人脸。

    May, 2023

  • 时尚智取：一个面向自然语言反馈检索图像的新数据集

    该论文介绍了 Fashion IQ 数据集，支持互动式时装图像检索的研究和进展，提供了人工生成的注释、现实世界的产品描述和派生的视觉属性标签等，通过基于 transformer 的用户模拟器和交互式图像检索器提高对话式图像检索的效果，鼓励进一步开发更自然和适用于现实世界的购物助手。

    May, 2019