通过采样预训练扩散模型进行有针对性的图像重建
通过实证研究探讨差分隐私参数选择的挑战，揭示了实际数据与重建目标之间领域转变的关系，提出了基于扩散模型的重建攻击方法，并证明了真实数据先验对于重建的影响，现有的重建边界不良模拟了数据先验的风险，并且扩散模型可以作为有效的隐私泄漏审计工具。
Mar, 2024
通过在精选数据集中插入有毒数据，利用多模式大型语言模型和文本引导的图像修复技术，本研究证实了在触发特定提示时，微调扩散模型可以生成受版权保护的内容，从而揭示了现行版权保护策略中潜在的陷阱，强调了对扩散模型滥用的加强审查和预防措施的必要性。
Jan, 2024
本文介绍了一种在各种威胁模型下生成鲁棒分类器的方法，该方法利用了随机生成建模的最新进展，并利用条件分布采样。通过在被攻击的图像上添加高斯独立同分布噪声，然后进行预训练扩散过程，该方法表现出了可观的鲁棒性。该鲁棒性在 CIFAR-10 数据集上经过了广泛的实验验证，表明我们的方法在各种威胁模型下优于主要的防御方法。
Jul, 2022
隐形功能型后门攻击对训练神经网络构成了严重的安全威胁，本文提出了一种基于扩散模型及知识蒸馏的新方法，能够在潜在受污染的数据集上训练模型，并生成具备对抗后门触发的鲁棒性的学生模型。
Oct, 2023
本文研究了图像扩散模型，如 DALL-E 2，Imagen 和 Stable Diffusion，发现它们从训练数据中记忆单个图像并在生成时发射此类图像，总结了此类模型的隐私风险和影响隐私保护培训的新进展。
Jan, 2023
研究如何通过反向工程的方法利用少量的反向查询训练数据重建整个机器学习模型，尤其是针对神经网络等更一般的模型，通过实际攻击和差分隐私的方法来防御这种攻击，并探讨其对标准机器学习管道的影响。
Jan, 2022
本文介绍了一种名为 “Diffusion Inversion” 的方法，该方法使用预先训练的生成模型 Stable Diffusion，通过将图像倒换到其潜在空间中来捕获原始数据分布并确保数据覆盖，即可生成多样高质量的训练图片，此方法通过三个关键部件成功替换了原始数据集，从而提高了样本复杂度并缩短了采样时间，不仅优于泛化提示导向方法和 KNN 检索基线，还可与常见数据增强技术兼容，提高少样本学习的可靠性。
May, 2023
引入了欺骗扩散的概念 -- 训练生成 AI 模型以产生具有对抗性的图像。与传统的对抗性攻击算法不同，欺骗扩散模型可以创建任意数量的新的、被错误分类的图像，这些图像与训练或测试图像没有直接关联。欺骗扩散在规模上提供了对抗性训练数据以加强防御算法，包括在其他情况下难以找到的错误分类类型。在我们的实验中，我们还研究了在部分受攻击数据集上进行训练的效果。这突出了生成扩散模型的一种新型漏洞：如果攻击者能够秘密地污染部分训练数据，那么生成的扩散模型将产生相似比例的误导输出。
Jun, 2024
本文结合传统的基于模型的迭代重建方法和现代扩散模型，提出了一种高度有效的方法来解决 3D 医学图像重建任务，包括稀疏视图断层扫描、有限角度断层扫描、预训练 2D 扩散模型压缩感知 MRI 等。我们在测试时提出了 2D 扩散先验的增强模型先验，从而实现了所有维度上的一致重建。该方法可以在单个普通 GPU 上运行，并且在最极端情况下（例如 2 视的 3D 断层扫描）表现出高保真度和准确度的重建。我们进一步揭示了该方法的泛化能力出乎意料地高，并且可以用于重建与训练数据集完全不同的体积。
Nov, 2022