ICMLMay, 2024

UPAM：统一提示攻击文本到图像生成模型，同时针对文本过滤器和视觉检测器

PDF
TL;DR提出了一种名为 UPAM 的新颖框架，通过攻击角度研究 T2I 模型的鲁棒性，该框架旨在欺骗 T2I 模型中的文本和视觉防御机制，利用梯度优化实现更高的效果和效率，并引入了一种支持梯度优化的 Sphere-Probing Learning（SPL）方案，进一步采用 Semantic-Enhancing Learning（SEL）方案来提高 UPAM 生成目标对齐图像的效果，且具有攻击隐蔽性，通过大量实验验证了 UPAM 的有效性和效率。
发现论文，激发创造
  • 任意分割物体遭受通用对抗扰动

    研究了如何使用自我监督对比学习来生成一种基于锚定样本的普适性对抗扰动，以攻击 Segment Anything Model（SAM）。验证了该方法的有效性并探讨了正负样本在生成 UAP 时的作用。

    Oct, 2023

  • UPainting: 统一的跨模态引导文本到图像扩散生成

    本文介绍了 UPainting 这个同时适用于简单和复杂场景图像生成的模型，利用预训练的 Transformer 语言模型作为文本编码器，结合预训练的图像 - 文本匹配模型进行跨模态引导，提高了生成图像的样本保真度和图像 - 文本对齐程度。在中英文简单和复杂场景的对比实验中，UPainting 相对于其他模型表现得更加优异。

    Oct, 2022

  • GuardT2I：保护文本到图像模型免受对抗性提示攻击

    通过使用生成方法增强文本到图像模型的鲁棒性，GuardT2I 框架在对抗性场景下显著优于 OpenAI-Moderation 和 Microsoft Azure Moderator 等商业解决方案。

    Mar, 2024

  • 视觉语言预训练模型的普适对抗扰动

    我们的研究通过提出新的黑盒方法生成有效且可转移的通用对抗扰动，以揭示 VLP 模型对于图像模态特定模式的不可感知扰动是否普遍敏感，进一步研究了增强 UAPs 的有效性和可转移性的方法，达到了有效且可传递的通用对抗攻击。

    May, 2024

  • 评估文本到图像扩散模型对真实攻击的鲁棒性

    本研究对文本到图像扩散模型进行了鲁棒性评估，考虑到实际应用中可能存在的各种语义一致但现实错误的攻击方式，揭示了该模型的鲁棒性问题。

    Jun, 2023

  • 纹理可缩放的通用对抗干扰

    通过在整个图像领域内添加约束并横向和纵向重复来填充一个具有小尺度的场景无关扰动 (UAP) 地图，我们提出了一种纹理尺度约束的 UAP 改进方法 (TSC-UAP)，它可以自动产生具有类别特定局部纹理的 UAP，更容易愚弄深度模型，从而在愚弄率和攻击可迁移性方面实现了显著的改进。

    Jun, 2024

  • 稳定扩散是不稳定的

    该研究提出了 Auto-attack on Text-to-image Models（ATM）方法，借助 Gumbel Softmax 分布学习来生成高效、多样的扰动样本，以防止生成模型过分拟合，从而提高模型的稳健性。通过实验分析，发现扰动攻击主要依据于生成速度、多义词、词性和文本长度等因素。

    Jun, 2023

  • 无需训练的无监督视觉 - 语言模型提示

    从大量的预先训练图像 - 语言模型 (VLMs) 调整到下游任务的适应性最好的范式变成了即刻学习。我们提出了无需训练的无监督提示 (TFUP)，它在无需训练或标记的情况下最大程度地保留了内在的表现能力，并通过将预测概率与基于相似度的预测概率之间的残差连接进行增强。然后，我们使用实例置信度和原型分数来选择代表性样本，这些样本用于定制训练自由推理的可靠特征缓存模型 (FCM)。我们设计了一种多级相似度度量 (MSM)，它考虑了特征级和语义级相似度，以计算每个测试图像与缓存样本之间的距离，作为相应缓存标签的权重，进而生成基于相似度的预测概率。通过这种方式，TFUP 在多个分类数据集上实现了令人惊讶的性能，甚至超过了基于训练的方法。在我们的 TFUP 基础上，我们提出了一个训练为基础的方法 (TFUP-T) 来进一步提升适应性能力。除了标准的交叉熵损失外，TFUP-T 还采用了额外的边际分布熵损失，从全局角度约束模型。与无监督和少样本适应方法在多个基准测试中相比，我们的 TFUP-T 实现了新的最先进的分类性能。特别是，在最具挑战的 Domain-Net 数据集上，TFUP-T 将 POUF 的分类准确度提高了 3.3%。

    Apr, 2024

  • 图像检索的通用扰动攻击

    首次尝试以攻击图像检索系统为目标，利用新的方法生成反检索通用对抗扰动，通过降低相关的排名度量来打破图像特征之间的邻域关系。我们的方法通过多尺度随机调整大小的方案和排名蒸馏策略扩展攻击方法，并在四个广泛使用的图像检索数据集上进行了评估。在不同度量方面，如 mAP 和 mP @ 10 等，报告了显着的性能下降。最后，我们在实际的视觉搜索引擎 Google Images 上测试了我们的攻击方法，证明了我们的方法的实际潜力。

    Dec, 2018

  • 映射未知：使用基础模型的统一提示式全景映射与动态标注

    通过使用自然语言提示词，我们介绍了统一的可提示全景映射（UPPM）方法，将动态标注策略与传统的全景映射技术相结合，实现实时、按需的标签生成，并在场景重建中表现出良好的适应性和多功能性。

    May, 2024