CVPRMar, 2024

基于文本向导的工业异常检测与分割的变分图像生成

PDF
TL;DR提出了一种文本导向的变分图像生成方法，用于解决在工业制造中清理数据以进行异常检测的挑战。该方法利用有关目标对象的文本信息，从广泛的文本库文档中学习，生成类似于输入图像的无瑕疵数据图像。所提出的框架确保生成的无瑕疵图像与由文本和图像知识派生的预期分布对齐，确保稳定性和通用性。实验结果证明了我们的方法的有效性，即使在有限的无瑕疵数据情况下也超过了以前的方法。通过在四个基准模型和三个不同数据集上进行泛化测试来验证我们的方法。我们提供了额外的分析，以利用生成的图像增强异常检测模型的效果。
text-guidedvariational image generationanomaly detectionindustrial manufacturingnon-defective data
发现论文，激发创造
  • 无监督文本到图像生成的变分分布学习

    本文提出了一种基于深度神经网络的文本到图像生成算法，使用预训练的 CLIP 模型和变分推断的方式，优化算法并取得了在无监督和半监督文本图像生成任务下 beat state-of-the-art 的结果。

    Mar, 2023

  • 超越生成：利用文本至图像模型进行对象检测和分割

    通过使用文本到图像合成框架（如 DALL-E、稳定扩散等），我们提出了一种新的范式，以自动产生具有准确标签的训练数据。该方法将训练数据生成分解为前景物体生成和上下文一致的背景生成部分，并演示了在五个物体检测和分割数据集上使用我们方法生成的合成数据用于训练可以产生与使用真实数据训练的模型性能相媲美甚至更好的目标检测器。

    Sep, 2023

  • 文本引导的图像聚类

    通过使用图像标题生成和视觉问答 (VQA) 模型生成文本，并基于生成的文本进行聚类，本研究在八个不同的图像聚类数据集中展示了得到的文本表示经常优于图像特征。此外，我们提出了一种基于计数的聚类解释方法，在聚类准确性不太高的情况下，基于关键词的解释能更好地描述聚类结果。整体而言，这项研究挑战了传统方法并为使用生成的文本进行图像聚类铺平了道路。

    Feb, 2024

  • 基于模式生成对比网络的非监督工业异常检测

    本文提出一种基于 Vision Transformer 的无监督异常检测网络，利用分层任务学习和人类经验来增强其可解释性，可以有效解决高维空间中非线性模型拟合的问题和纹理变化对算法鲁棒性的挑战，并在公开数据集上取得了 99.8% AUC 的表现，优于现有最先进方法。

    Jul, 2022

  • 基于文本的视频生成

    通过训练条件生成模型从文本中提取静态和动态信息，结合 VAE 和 GAN 的混合框架，采用画线和过滤器来生成可信度高和多样性强的文本视频。

    Oct, 2017

  • ViewDiff：利用文本到图像模型的 3D 一致图像生成

    本文提出一种新的方法，利用预训练的文字转图像模型作为先验知识，从真实世界数据中的单个去噪过程中生成多视角图像，并且通过在现有 U-Net 网络的每个块中整合 3D 体渲染和跨帧注意力层，设计出自回归生成方法，在任意视点上呈现更具一致性的 3D 图像。与现有方法相比，我们的方法生成的结果是一致的，并且具有优秀的视觉质量（FID 降低 30%，KID 降低 37%）。

    Mar, 2024

  • 稳定扩散控制的工业数据图像合成

    使用生成模型在工业数据上重新生成自我标记的有缺陷图像，从而优化真实工业使用情况下的裂缝分割器，显示了该方法在生产环境中的潜力。

    Jan, 2024

  • 变分序列计划数据生成技术

    本论文考虑数据到文本生成的任务，着重提出了一种生成长篇文章的神经模型，增加了计划组件来组织高层次信息，在结构化变分模型的帮助下逐步推理出潜在计划，从而生成文本。在 RotoWire 和 MLB 两个数据到文本基准测试中，本模型表现优于基准模型，并且在训练数据有限的情况下具有较高的样本效率。

    Feb, 2022

  • AnomalyGPT：利用大型视觉 - 语言模型检测工业异常

    利用大型视觉语言模型（LVLMs）解决工业异常检测（IAD）问题的关键在于提出了一种基于 LVLM 的新型 IAD 方法 AnomalyGPT，通过模拟异常图像以及为每个图像生成对应的文本描述来生成训练数据，并利用图像解码器提供细粒度语义和设计，通过启示式嵌入 fine-tune LVLM，消除了手动阈值调整的需求，直接评估异常的存在和位置，在 MVTec-AD 数据集上实现了 86.1％的准确率，94.1％的图像级 AUC 和 95.3％的像素级 AUC。

    Aug, 2023

  • 文本自适应生成对抗网络：用自然语言编辑图片

    本文提出一种文本适应的生成对抗网络 (TAGAN)，用以保留不相关的图片内容，并根据自然语言描述进行图像属性的语义修改。该网络通过创建词级本地判别器，按照输入的文本进行细粒度属性的独立分类，实现只修改特定区域的图像。经实验验证，该方法在 CUB 和 Oxford-102 数据集上比现有方法表现更好。

    Oct, 2018