Aug, 2023

Diff-CAPTCHA: 基于去噪扩散模型提升安全性的图像验证码

PDF
TL;DR通过使用扩散模型生成图像，文中介绍了一种名为 Diff-CAPTCHA 的图像点击 CAPTCHA 方案，该方案通过减弱用于机器学习的字符特征、增加 CAPTCHA 中字符特征的多样性以及增加破解算法的难度，有效提高了 CAPTCHA 的安全性。研究还通过多种攻击方法验证了 Diff-CAPTCHA 的安全性，并将其与三种基准方案进行了比较，实验结果表明，扩散模型在提高 CAPTCHA 安全性的同时能够保持良好的人类可用性。
text captchassecuritydiffusion modelsdiff-captchaend-to-end attacks
发现论文，激发创造
  • 扩散模型的引人入胜特性：用于评估文本到图像生成模型自然攻击能力的大规模数据集

    通过发现深度神经网络模型仍能保持预测能力，即使有意删除其对人类视觉系统至关重要的稳健特征，我们识别出了一种名为 “自然去噪扩散攻击（NDD）” 的新型攻击。该攻击能够以低成本并且与模型无关、可转换为对抗性攻击，并利用扩散模型中的自然攻击能力。我们构建了一个大规模数据集 “自然去噪扩散攻击（NDDA）数据集”，来系统评估最新的文本 - 图像扩散模型的自然攻击能力的风险。我们通过回答 6 个研究问题来评估自然攻击能力，并通过用户研究证实了 NDD 攻击的有效性，发现 NDD 攻击能够实现 88% 的检测率，同时对 93% 的被试者具有隐蔽性。我们还发现，扩散模型嵌入的非稳健特征对于自然攻击能力起到了贡献作用。为了证明攻击的模型无关性和可转换性，我们对一辆自动驾驶汽车进行了 NDD 攻击，发现 73% 的物理打印的攻击能够被识别为停止标志。希望我们的研究和数据集能够帮助社区意识到扩散模型的风险，并促进更多关于强大深度神经网络模型的研究。

    Aug, 2023

  • 使用扩散模型增强场景文本检测器的真实文本图像合成

    通过扩充背景与前景文字的整合，Diffusion Model based Text Generator (DiffText) 创造了一种能生成真实文本图像并优化文本探测器性能的新型合成数据集方法。

    Nov, 2023

  • 伪装目标检测的扩散模型

    本研究提出了一种基于扩散的伪装目标检测框架（diffCOD），该框架将伪装目标分割任务视为从噪声掩码到目标掩码的去噪扩散过程，并采用模型学习来逆转这一噪声处理过程。通过将输入图像先验编码和集成到去噪扩散模型中来加强去噪学习，同时使用注入注意力模块（IAM）通过交叉注意机制将从图像中提取的条件语义特征与扩散噪声嵌入相互作用以增强去噪学习。实验结果表明，在四个广泛使用的伪装目标检测基准数据集上，该方法相较于其他 11 种最先进的方法，尤其在伪装目标的纹理细分割上取得了有利的性能。

    Aug, 2023

  • DiffuseDef: 对抗攻击下的改进鲁棒性

    通过结合迁移学习、扰动模型和集成学习技术，我们提出了一种新颖和灵活的文本分类对抗防御方法 DiffuseDef，它在编码器和分类器之间引入扩散层作为去噪器，经过迭代去噪和集成生成鲁棒的文本表示。实验证明，DiffuseDef 在各种对抗性攻击中表现优异，实现了最先进的性能。

    Jun, 2024

  • MMA-Diffusion：多模态对抗扩散模型

    近年来，文本到图像（T2I）模型取得了显著进展并广泛应用，然而这一进展无意中开辟了潜在的滥用途径，尤其是生成不适宜或不安全的内容。我们的工作引入了 MMA-Diffusion，这是一个对 T2I 模型安全性构成严重和真实威胁的框架，通过有效绕过开源模型和商业在线服务的当前防御措施。与以往的方法不同，MMA-Diffusion 利用文本和视觉模式来绕过提示过滤器和事后安全检查器等保护措施，从而揭示现有防御机制的弱点。

    Nov, 2023

  • DiffCap：探索连续扩散在图像字幕生成中的应用

    本文提出了一种基于连续扩散的新方法 ——DiffCap，用于图像标题生成中的多模态特征融合。相比于自回归式的方法，DiffCap 采用了非自回归式方法，可在生成时提供更高的多样性与灵活性。实验结果表明，我们的方法在保证生成品质的同时，使用了更加简单的结构，这一设计将会启发更多关于多模态生成任务方面的研究。

    May, 2023

  • 基于去噪扩散模型的光学图像转换：以异构变化检测为例

    介绍一种创新的基于深度学习的方法，使用去噪扩散模型将不同光学传感器的低分辨率图像转换为高分辨率图像，保留内容并避免不需要的伪影，通过大规模多样的 Sentinel-II 和 Planet Dove 图像配对数据集进行训练和测试，解决了在多传感器光学遥感图像的图像到图像转换任务中普遍使用的无分类器引导去噪扩散隐式模型（DDIM）框架所观察到的严重图像生成问题，生成具有高度一致的补丁的大型图像，包括颜色和特征，进一步展示了该方法如何改善贝鲁特，黎巴嫩和美国奥斯汀两个城市地区的异构变化检测结果，我们的贡献包括：i）基于去噪扩散模型的光学图像转换的新的训练和测试算法；ii）全面的图像质量评估和消融研究；iii）与无分类器引导 DDIM 框架的比较；和 iv）对异构数据的变化检测实验。

    Apr, 2024

  • 去扩散使文本成为强大的跨模态接口

    我们展示了一种以文本作为强大的跨模态接口的方法，通过将图像表示为文本，利用自然语言的可解释性和灵活性，我们使用一个自动编码器，将输入图像转换为文本，并通过固定的文本到图像扩散解码器进行重构，该过程称为 De-Diffusion。实验证实了 De-Diffusion 文本表示图像的精确性和综合性，使其可以轻松地被一般的文本到图像工具和 LLMs 接收，并可用于多样化的多模态任务。

    Nov, 2023

  • 通过对抗解耦增强框架实现面部隐私保护的提示鲁棒性

    本研究提出了一种基于 Adversarial Decoupling Augmentation Framework (ADAF) 的面部隐私保护算法，通过针对图像 - 文本融合模块增强面部隐私保护算法的防御性能，采用多级文本相关增强措施提高对各种攻击者提示的防御稳定性，并在 CelebA-HQ 和 VGGFace2 上进行广泛的实验，证明了 ADAF 比现有算法具有更好的性能。

    May, 2023

  • eDiff-I：使用专家去噪模型集合的文本到图像扩散模型

    该研究提出了一种基于扩散的生成模型，通过设计针对迭代生成过程的特殊模型，实现了更好的文本对齐，利用不同嵌入技术对模型进行调整，实现对参考图像风格进行自适应转换，并展示了一种 “文字涂鸦” 的技术，可帮助用户控制所需的图像输出。

    Nov, 2022