ECCVAug, 2020

使用自然语言描述纹理

PDF
TL;DR本文研究了纹理的视觉属性及对不同模型的影响，发现现有的生成和判别模型不能很好地捕捉纹理的组成属性。我们以证据支持了此观点，并提供了可解释性的模型来生成基于语言的解释，以加深对纹理分类的理解。我们通过在 Caltech-UCSD 鸟类数据集上进行精细分类，证明了该数据集上所学习到的纹理属性相比专家设计的属性能够实现显著改进。
texturesvisual attributesgenerative modelsdiscriminative modelsfine-grained categorization
发现论文，激发创造
  • 野外纹理描述

    通过创建 Describable Textures Dataset（DTD），使用 47 种纹理术语，将 IFV 应用于纹理识别，以认识和描述大型野外纹理数据集。这种方法不仅提高了纹理识别数据集的性能，而且也极大地提高了材料识别数据集的性能。

    Nov, 2013

  • 面料的视觉语言

    我们介绍了 text2fabric，这是一个将自由文本描述与各种面料材料相链接的新型数据集。该数据集包括 15,000 个自然语言描述，与 3,000 个相应的面料材料图像相关联。通过分析数据集，我们确定了从描述中出现的紧凑词汇表、属性集和关键结构。这使我们能够准确理解人们如何描述面料，并为推广到其他类型材料绘制方向。我们还展示了我们的数据集使得像 CLIP 这样的大型视觉语言模型能够专门化，为面料外观创建有意义的潜在空间，并显著提高了细粒度材料检索和自动字幕等应用。

    Jul, 2023

  • 学习生成组合式色彩描述

    使用递归神经网络和傅里叶变换的颜色表示方法，成功应用于生成颜色描述模型，在自然颜色描述的大型语料库上进行条件语言模型任务，不仅可以准确地生成基本颜色术语，还可以生成训练过程中未见过的具有非凸含义的描述词，裸修饰语以及组合短语。

    Jun, 2016

  • 纹理识别、描述和分割的深度滤波器组

    本文提出了一种基于可描述纹理数据集的词汇表，用于描述常见的纹理模式，以及一些对应的图像识别技术，包括物体材质和纹理属性的实时识别，并通过将深度模型卷积层用作滤波器进行优化以获得卓越的性能。

    Jul, 2015

  • 学习细粒度视觉描述的深度表示

    本文提出了使用神经语言模型来克服零 - shot 视觉识别中属性的局限性，并取得了在文本图像检索精度和零 - shot 分类准确率上的显著性提升。

    May, 2016

  • CLIP 对纹理的理解能力如何？

    本研究探讨了 CLIP 在自然语言描述的自然图像中对纹理的理解能力。我们分析了 CLIP 在各种纹理和材质分类数据集上的零样本学习表现，分析了它对 DTDD 数据集上红点或黄色条纹等纹理组成特性的表达能力，以及对通过描述鸟身体部位的颜色和纹理来进行细粒度分类的帮助。

    Mar, 2022

  • 在大量控制的光照条件下评估颜色纹理描述符

    本文主要研究基于不同光线条件下的颜色纹理识别技术，通过对新旧特征及彩色规范化等方面进行广泛比较评估，研究不同的光照变化对纹理描述符的影响，得出在大范围成像条件下纹理描述符的鲁棒性。

    Aug, 2015

  • 纹理图像分析和纹理分类方法 - 综述

    本论文主要讨论了纹理分析方法在计算机视觉领域的应用，包括图像处理、对象识别、表面缺陷检测、医学图像分析等，并重点介绍了统计、结构、基于模型和基于变换等四种纹理分析方法，以及组合方法在纹理分析中的应用，同时总结了常见的分类器及纹理图像数据集。

    Apr, 2019

  • 组合神经材质

    使用组合神经模型全自动地表示纹理，通过编辑高斯文本在潜在空间中修改纹理，实现了纹理分析、建模和编辑的新技术，拓展了可控纹理的视觉吸引力图像的创作可能性。

    Apr, 2024

  • 学习简洁和描述性的视觉识别属性

    最近基础模型的进展为可解释的视觉识别提供了新的机会，通过查询大型语言模型获取描述每个类别的属性，然后应用视觉语言模型通过这些属性对图像进行分类，我们的研究发现，大量的 LLM 生成的属性与随机词几乎没有差别，我们提出了一种新的学习搜索方法来发现那些简明的属性集，该方法在 CUB 数据集上使用仅 32 个属性来区分 200 个鸟类的性能接近于大量 LLM 生成的属性（例如 CUB 的 10,000 个属性），此外，我们的新范式还展示了几个附加优势：人类的更高可解释性和互动性，以及总结知识的能力。

    Aug, 2023