本研究对文本到图像扩散模型进行了鲁棒性评估，考虑到实际应用中可能存在的各种语义一致但现实错误的攻击方式，揭示了该模型的鲁棒性问题。

Jun, 2023

本文提出了一种鲁棒扩散分类器 (Robust Diffusion Classifier, RDC)，它是一个基于预训练扩散模型构建的生成分类器，可以更好地应对未知威胁并实现识别准确率的提高

May, 2023

通过结合迁移学习、扰动模型和集成学习技术，我们提出了一种新颖和灵活的文本分类对抗防御方法 DiffuseDef，它在编码器和分类器之间引入扩散层作为去噪器，经过迭代去噪和集成生成鲁棒的文本表示。实验证明，DiffuseDef 在各种对抗性攻击中表现优异，实现了最先进的性能。

Jun, 2024

通过引入概率性的文本到图像扩散模型（T2I DMs）的鲁棒性概念，并建立一个高效的统计性保证评估框架（ProTIP），本研究在解决生成过程的高计算成本和对比两个输出分布以确定扰动输入是否为对抗性示例的困难之后，通过实证实验验证了 ProTIP 在评估鲁棒性和效率方面相较于通用的 T2I DMs 的有效性，并展示了将 ProTIP 应用于常用防御方法排序的应用场景。

Feb, 2024

Diffusion models have the potential for enhancing image-to-text generation and surpass Auto-Regressive models by introducing LaDiC, which incorporates context modeling, a dedicated latent space for captions, a regularization module, a diffuser for semantic conversion, and a Back&Refine technique, achieving state-of-the-art performance on the MS COCO dataset without pre-training or ancillary modules.

Apr, 2024

近年来，文本到图像（T2I）模型取得了显著进展并广泛应用，然而这一进展无意中开辟了潜在的滥用途径，尤其是生成不适宜或不安全的内容。我们的工作引入了 MMA-Diffusion，这是一个对 T2I 模型安全性构成严重和真实威胁的框架，通过有效绕过开源模型和商业在线服务的当前防御措施。与以往的方法不同，MMA-Diffusion 利用文本和视觉模式来绕过提示过滤器和事后安全检查器等保护措施，从而揭示现有防御机制的弱点。

Nov, 2023

通过使用 CLIP 模型提取的图像和文本特征以及多层感知器（MLP）分类器，本研究引入了一个强大的检测框架，并提出了一种能够改善检测器鲁棒性的新型损失函数，以及在模型训练中平整化损失函数空间从而改善检测器的泛化能力。通过大量实验证明了我们方法的有效性，超越了传统检测技术，在 DM 生成的图像检测领域有望成为新的最先进方法。

Apr, 2024

我们提出了一种具有逆向过程的鲁棒性指导方法，该方法独立于预训练的扩散模型，在不重新训练或微调扩散模型的情况下实现了对抗训练策略，保留了更多的语义内容，并减轻了扩散模型的准确性和鲁棒性之间的权衡，从而为基于扩散模型的对抗净化方法提供了对新攻击的高效适应能力。通过大量实验证实，我们的方法达到了最先进的结果，并展现了对不同攻击的泛化能力。

Mar, 2024

为了解决在线误导信息的问题，该研究引入了 D-TIIL（基于扩散的文本 - 图像不一致性定位），采用文本对图像扩散模型来定位文本和图像对中的语义不一致性，并通过文本嵌入和修改后的图像区域进行可视化。

Apr, 2024

本文介绍了一种基于自然语言描述和兴趣区域掩码进行本地（面向区域的）在通用自然图像中进行编辑的解决方案，利用 CLIP 预训练语言 - 图像模型指导编辑并使用扩散概率模型生成自然外观结果，以及应用扩散过程的增强进行抗击对抗攻击；通过在多个基线和相关方法上的定量和定性比较，表明该方法在整体逼真度、保护背景和匹配文本方面均优于现有解决方案，并展示了多种文本驱动的编辑应用，如添加新对象，删除 / 替换 / 修改现有对象，背景替换和图像推理。

Nov, 2021