Dec, 2023

文本到图像生成中的非对称偏差与对抗攻击

PDF
TL;DR对文本到图像模型中的对抗攻击进行了实证研究，发现了攻击成功率的相关因素，提出了实体替换的新攻击目标，分析了对抗攻击的指标，以及成功概率高和低的条件。
text-to-image modelsadversarial attacksentity swappingattack success ratesprobing metrics
发现论文，激发创造
  • 评估文本到图像扩散模型对真实攻击的鲁棒性

    本研究对文本到图像扩散模型进行了鲁棒性评估，考虑到实际应用中可能存在的各种语义一致但现实错误的攻击方式，揭示了该模型的鲁棒性问题。

    Jun, 2023

  • 严重程度可控的文本到图像生成模型的偏倚操纵

    通过利用嵌入的语言模型的数学基础，我们的技术使得在模型偏见的作用下对输出的严重程度进行可扩展和便捷的控制，同时也允许通过精确的提示工程生成通常不真实的图像，我们还演示了将此操纵用于平衡生成类别频率的构造性应用。

    Apr, 2024

  • 对抗性文本到图像合成：综述

    该论文综述了生成对抗网络在文本到图像合成方面的发展以及面临的挑战，提出了一些研究方向，包括评估指标、数据集和模型架构设计等方面的改进。

    Jan, 2021

  • GuardT2I：保护文本到图像模型免受对抗性提示攻击

    通过使用生成方法增强文本到图像模型的鲁棒性，GuardT2I 框架在对抗性场景下显著优于 OpenAI-Moderation 和 Microsoft Azure Moderator 等商业解决方案。

    Mar, 2024

  • 机器翻译模型面对敌对攻击表现强劲

    深度学习模型中的对抗攻击通过对输入进行微小扰动，从而导致输出发生重大变化。我们的研究重点是这种对抗攻击对序列到序列（seq2seq）模型的影响，特别是机器翻译模型。我们引入了基本的文本扰动启发式算法和更高级的策略，例如基于梯度的攻击，该攻击利用可微分逼近的非可微分翻译度量。通过我们的调查，我们提供了证据表明机器翻译模型对已知最佳对抗攻击显示出鲁棒性，因为输出中的扰动程度与输入中的扰动成正比。然而，在次优方法中，我们的攻击方法优于其他方法，提供了最佳的相对性能。另一个有力的候选方法是基于混合单个字符的攻击。

    Sep, 2023

  • 通过个性化对文本到图像扩散模型进行的零日后门攻击

    研究了个人化的文本到图像（T2I）扩散模型的潜在漏洞和易受攻击的方法，并探讨了两种个性化方法中零日后门漏洞的普遍性及其操作和利用潜力，并分析了触发器和概念图像对攻击效果的影响。

    May, 2023

  • 稳定扩散是不稳定的

    该研究提出了 Auto-attack on Text-to-image Models（ATM）方法，借助 Gumbel Softmax 分布学习来生成高效、多样的扰动样本，以防止生成模型过分拟合，从而提高模型的稳健性。通过实验分析，发现扰动攻击主要依据于生成速度、多义词、词性和文本长度等因素。

    Jun, 2023

  • 对抗性 Nibbler：一个以数据为中心的挑战，用于提高文本到图像模型的安全性

    该研究旨在解决文本到图像（text-to-image，T2I）模型的安全问题，通过引入 Adversarial Nibbler 挑战，通过收集和分析对当前 state-of-the-art T2I 模型的攻击，来提高人们对这些问题的认识。

    May, 2023

  • ProTIP: 针对随机扰动的文图扩散模型进行概率稳健性验证

    通过引入概率性的文本到图像扩散模型（T2I DMs）的鲁棒性概念，并建立一个高效的统计性保证评估框架（ProTIP），本研究在解决生成过程的高计算成本和对比两个输出分布以确定扰动输入是否为对抗性示例的困难之后，通过实证实验验证了 ProTIP 在评估鲁棒性和效率方面相较于通用的 T2I DMs 的有效性，并展示了将 ProTIP 应用于常用防御方法排序的应用场景。

    Feb, 2024

  • 文本到图像生成中的偏见调查：定义、评估和缓解

    通过对 T2I（Text-to-Image）生成模型中的偏见进行研究调查，揭示了存在的社会偏见对少数群体的边缘化造成的影响，并指出在研究中存在的限制和未来的研究方向。

    Apr, 2024