通过稳定扩散模型生成高分辨率图像,并利用这些图像提高检测模型的性能,这项研究有助于将稳定扩散模型应用于不同领域的分类和检测任务。
Dec, 2023
视觉计算领域因生成人工智能的出现而快速发展,介绍了扩散模型的基本数学概念、稳定扩散模型的实现细节和设计选择,以及包括个性化、条件设定、反转等在内的这些生成人工智能工具的重要方面的综述。此外,它还对基于扩散的生成和编辑的迅速增长的文献进行了全面的概述,按照生成介质的类型进行分类,其中包括 2D 图像、视频、3D 对象、运动和 4D 场景。最后,我们讨论了可用的数据集、度量标准、开放性挑战和社会影响。这个综述为研究人员、艺术家和从业者提供了一个直观的起点来探索这个令人兴奋的主题。
Oct, 2023
通过探测扩散网络,研究不同的 3D 场景属性,我们发现 Stable Diffusion 在场景几何、支撑关系、阴影和深度方面表现优秀,但对遮挡不够有效。与其他大规模训练的模型相比,如 DINO 和 CLIP,我们发现 Stable Diffusion 的性能更强。
通过引入时态依赖于现有的文本驱动扩散模型,使其能够生成一致的编辑对象外观,我们解决了扩散模型在自然视频编辑中编辑现有对象时难以保持其外观随时间稳定的问题。通过开发一种新颖的帧间传播机制,利用分层表示的概念将相邻帧的外观信息传播到下一帧,并基于该机制构建了一个名为 StableVideo 的文本驱动视频编辑框架,可以实现一致感知的视频编辑。广泛的实验证明了我们方法的强大编辑能力。与最先进的视频编辑方法相比,我们方法展示了卓越的定性和定量结果。
Aug, 2023
在这篇论文中,我们系统评估了使用扰动在实际威胁模型下保护图像的方法,并介绍了一种能够在最大程度上保留原始图像结构的净化方法。实验证明,稳定扩散可以有效地从净化后的图像中学习,并且对各种保护方法具有良好的适应性。
Nov, 2023
在最近的生成人工智能的进展中,我们利用稳定扩散 2.0 模型来生成合成数据集,通过迁移学习、微调和生成参数优化技术改善了数据集在下游分类任务中的效用,我们提出了一种条件类别版本的模型,利用类编码器和关键生成参数的优化。使用我们的方法,在三分之一的情况下,合成数据集产生的模型胜过在真实数据集上训练的模型。
May, 2024
该研究探讨了使用 Stable Diffusion 生成的数据来增强对抗攻击的传递性,提出了一种基于 Stable Diffusion 的新型攻击方法,并提供了一个快速变体,通过实验证明该方法在对抗性传递性方面优于现有方法,并且与现有的基于传递的攻击方法相兼容。
该研究通过反向工程分析稳定扩散算法的安全过滤器,发现该过滤器只能防止生成性内容而无法防止暴力、血腥等扰人的内容,呼吁未来算法的安全措施应该是完全开放和正确记录的。
Oct, 2022
使用分类器研究文中文字图生成 AI 模型中的种族和性别刻板印象,提出一种新的去偏方法并增加人脸多样性。
Feb, 2024
本文探讨了使用扩散模型、多种互相独立的计算机视觉任务等方法尝试解决旧动画内容更新换代的问题,结果显示出合理的输出。
Jun, 2023