Apr, 2024

基于模型无关的少样本示例的生成图像起源归因

PDF
TL;DR在本文中，我们研究了在只有少量由源模型生成的图像可用且无法访问源模型的实际环境中，识别生成图像的来源模型的问题。我们提出了一种基于 CLIP 的少样本单类别分类框架 OCC-CLIP，可以在多个候选模型中辨别一个图像的来源模型。通过与各种生成模型对应的大量实验证实了我们的 OCC-CLIP 框架的有效性。此外，基于最近发布的 DALL-E 3 API 的实验验证了我们解决方案的实际应用性。
发现论文，激发创造
  • 生成图像的无修改和模型无关的来源归属

    本文提出了一种无需更改且与模型无关的图像源头归属方法，该方法通过对图像生成模型进行输入反向工程，即对特定图像的特定模型的输入进行反转来实现。利用逆向工程的重构损失确定图像来源的方法有效地区分了特定生成模型的生成图像和其他图像，包括不同模型生成的图像和真实图像。

    May, 2023

  • 无 Token 留存：可解释性辅助的图像分类与生成

    本研究提出了一种基于解释性的方法来解决在零样本学习和图像生成中使用 CLIP 时输入文本的稳定性问题，此方法通过增加一项损失项来确保 CLIP 关注所有相关的语义部分，并且可以提高图像识别率和生成图像的质量。同时，研究还展示了 CLIP 在一次性分类、对生成模型进行指导和有空间条件的基于文本的图像生成方面的新型应用。

    Apr, 2022

  • 基于预训练模型 CLIP 的零样本外部分布检测

    本文研究零样本数据识别问题，提出了一种基于多模态表示学习的方法，名为 ZOC，通过对图像进行文本描述生成和置信度评分来实现未知分类的检测，并在 5 个基准数据集上展现了比基准方案更好的性能。

    Sep, 2021

  • 通过少样本 CLIP 辅助扩散生成来识别和减轻模型失效

    这项研究通过结合大型语言模型（ChatGPT）和视觉语言深度模型（CLIP），提出了一种利用生成文本描述模型失效模式的端到端框架，以提高对稀有背景等失败情景的性能。通过生成合成数据，以此学习模型的不足，并在不同数据类别的罕见背景上增强性能，该方法在多个模型和数据集上实现了显著的准确度提升（约 21%）。

    Dec, 2023

  • 多样化和个性化的图像生成用于零 - shot 多标签分类

    通过生成合成数据，用于训练未见标签的分类器，本文介绍了一种用于零样本多标签分类的创新解决方案，包括使用大型语言模型生成多样的提示，使用 CLIP 模型进行图像筛选，以及使用特征融合模块来提高目标任务的视觉特征。实验结果验证了该方法的有效性，并显示出与现有方法相比的显著改进。

    Apr, 2024

  • 少样本无监督图像到图像翻译

    本论文提出一种基于生成对抗网络和网络设计的少样本无监督图像转换算法，通过在基准数据集上的大量实验验证与多种基线方法比较，证明了提出的框架的有效性。

    May, 2019

  • 基于再生的无需训练的文本图像生成模型伪造图像的归因

    通过反转图像的文本提示并将重构的提示放入不同的候选模型中来重新生成候选伪图片，通过计算并排序测试图片与候选图片的相似性，我们可以确定图片的来源模型，从而使模型的所有者对其模型的任何滥用负有责任。

    Mar, 2024

  • 基于 CLIP 的少样本异常检测中的异常合成

    通过使用 CLIP-OS 方法，在少样本学习中的 OOD 检测中，提出了一种新颖的 patch 均匀卷积和适应性的 ID 相关信息提取方法，并结合合成的可靠 OOD 数据和未知感知的提示学习，实现了 ID 和 OOD 之间的有效区分，从而获得了卓越的性能。

    Mar, 2024

  • 基于传递的零样本和小样本 CLIP

    这篇论文研究了在 CLIP 等视觉语言模型的快速发展文献中被完全忽视的跨导式零样本和少样本 CLIP 分类挑战，其中推断是在一批未标记的查询样本上进行的，而不是独立处理每个实例。通过构建信息性的视觉文本概率特征，本文提出了一个基于最小化问题的分类优化目标，使用 Dirichlet 分布来建模每个类的数据概率分布。我们采用一种新颖的块主导次优化算法来解决这个最小化问题，该算法同时估计分布参数和类别分配。对 11 个数据集进行的大量数值实验证明了我们批处理推断方法的益处和功效。在测试批次包含 75 个样本的零样本任务中，我们的方法在 ImageNet 准确性方面相对于 CLIP 的零样本性能提高了近 20%。此外，在少样本设置中，我们超过了现有的最先进方法。代码可在此链接获得：this https URL

    Apr, 2024

  • 通过引导裁剪实现零样本视觉分类

    我们提出了 GC-CLIP，通过在预处理步骤中使用现成的零样本目标检测模型，增加零样本分类器对感兴趣目标的关注，并减少无关图像区域的影响，从而提高了零样本分类结果。

    Sep, 2023