- ConceptPrune: 通过技能神经元修剪在扩散模型中进行概念编辑
我们提出了一种简单而有效的无需训练的方法,ConceptPrune,通过首先确定在预训练模型中负责生成不良概念的关键区域,从而以权重修剪的方式便捷地实现概念去学习。实验证明,我们的方法能够高效擦除多个目标概念,仅修剪总权重的约 0.12%, - 揭示扩散特征在个性化分割与检索中的力量
个性化检索和分割旨在基于输入图像和参考实例的简短描述在数据集中定位特定实例。本文探讨了用于这些任务的文本到图像扩散模型,并提出了一种名为 PDM 的新方法,该方法利用预训练的文本到图像模型的中间特征进行个性化任务而无需其他训练。PDM 在常 - AttenCraft: 文本图像定制中基于注意力引导的多概念解耦
使用 AttenCraft 方法,我们提出了一种基于注意力引导的多概念解缠方法,它使用了自注意力和交叉注意力图来生成精确的概念掩模,并在训练过程中应用于每个目标概念的交叉注意力激活,从而在图像对齐方面优于基线模型,并在文本对齐方面表现相当。
- ICML扩散拒绝采样
该论文介绍了扩散拒绝采样(DiffRS)方法,它使用拒绝采样方案,在每个时间步中将采样转换核与真实核对齐。该方法可以视作在每个中间时间步评估样本质量并根据样本的不同努力对其进行改进的机制。理论分析表明,与预训练模型相比,DiffRS 可以实 - 面部匿名提示学习用于保护隐私的文本到图像生成
通过使用可学习的提示前缀来训练文本到图像扩散模型,我们提出了 Anonymization Prompt Learning (APL) 来解决生成可识别面部图像的匿名化问题,实验证明了其成功的匿名化性能,并揭示了其在不同预训练文本到图像模型中 - 扩散模型中的强鲁棒概念擦除修剪
通过选择性修剪与要移除的概念相关的关键参数,改进了概念擦除技术的稳健性,并通过抵抗对抗性输入的实验结果证明了显著改进
- FreezeAsGuard:通过选择性张量冻结缓解扩散模型的非法适应
通过选择性冻结关键张量来减弱非法模型的表示能力,FreezeAsGuard 技术能够有效地缓解生成假公众人物肖像图片的非法模型改编,对其他合法领域的模型适应性影响最小。
- 通过概念领域修正和概念保持梯度,从扩散模型中去除概念
通过对抗训练对齐敏感概念和锚定概念的输出领域,提出了一种用于扩展模型对概念擦除的概念领域校正框架,并且基于梯度修剪设计了一个能够减轻卸载梯度中与重新学习梯度相矛盾的部分的概念保留方案,从而在保留模型效用的同时解决了扩散模型中概念卸载的挑战问 - 优秀的种子造就丰收:在文本 - 图像扩散模型中发现秘密种子
我们对随机种子在扩散推断期间的影响进行了大规模的科学研究,并发现种子对生成的图像具有显著影响。我们进一步研究了种子对可解释的视觉维度的影响,并展示了通过使用这些优质的种子进行改进的图像生成,例如高保真推断和多样化采样。本研究突出了选择良好的 - 通过条件似然差异对文本到图像扩散模型进行会员推断
基于观察到的条件过拟合现象,我们首次确定了文本到图像扩散模型,发展出了一个分析指标 —— 条件似然差异(CLiD),用于执行成员推断,证明了我们的方法在各种数据分布和规模上明显优于先前的方法,并且显示出对过拟合缓解策略的卓越抵抗力。
- 扩散模型中的混合使用 Black Scholes 算法
我们介绍了一种新颖的方法来进行提示混合,通过使用预训练的文本到图像扩散模型,在扩散去噪的每个时间步中,我们的算法根据生成的图像预测预测,并做出明智的文本调节决策。通过借鉴非平衡热力学中与金融中期权定价的 Black-Scholes 模型的联 - CVPR面向概念驱动文本到图像生成的个性化残差
个性化残差和局部关注引导采样,用于使用文本到图像扩散模型的高效概念驱动生成。
- MasterWeaver:个性化文本 - 图像生成掌控可编辑性和身份
MasterWeaver 是一种测试时无需调优的方法,通过额外引入交叉注意力来生成个性化图像,以提高身份准确性和编辑能力,通过训练过程中的编辑方向损失来改善编辑能力,并通过构建面部增强数据集来改善身份学习的可分离性。
- 预训练的文本到图像扩散模型是多用途控制表征学习器
使用预先训练的文本到图像扩散模型构建稳定的控制表示,从而实现细粒度场景理解和学习复杂控制策略。
- 探索未学习的扩散模型:可转移的对抗攻击视角
針對高級文字到圖像擴散模型在身份隱私侵犯、版權侵犯和不宜上班的內容生成方面引起的安全問題,本文旨在利用對抗攻擊的可轉移性來探測黑盒情景下的不學習強健性。
- 基于潜在特征引导和扩散先验的极端图像压缩研究
提出了一种新颖的极端图像压缩框架,该框架将压缩 VAEs 和预训练的文本到图像扩散模型结合在一起,通过潜在特征引导压缩模块进行图像压缩并解码为内容变量,然后利用预训练的扩散模型进一步解码这些内容变量,实验结果表明在极低比特率下,该方法在视觉 - 基于扩散辅助的高逼真无线图像传输的联合源信道编码
利用预训练的文本到图像扩散模型,提出了一种名为 DiffJSCC 的新框架,用于增强信道传输的图像的逼真度,通过利用空间和文本特征以及信道状态信息(如信噪比)对预先训练的稳定扩散模型进行微调,实验证明该方法在感知度量方面显著优于常规方法和以 - 用于克服扩散模型中概念抑制的概念算术
通过结合多个提示进行图像生成的分散模型的构成性属性在本文中被利用,提出了对安全措施的攻击方法,并讨论了该发现对安全模型部署的影响。同时,也开启了对分散模型的概念算术和组合推理对安全机制的讨论。
- 无分类器引导权重调度器的分析
通过进行综合实验,本文提供了对 CFG 权重调度器的认识,发现简单的单调递增权重调度器能够持续改善性能,仅需一行代码即可实现;此外,更复杂的参数化调度器可以被优化以进一步提高性能,但不能在不同模型和任务之间推广。
- WWW抽象概念理解的文本到图像扩散模型的优化器
这篇论文介绍了一种名为 POAC 的新方法,旨在增强从抽象概念中解释和生成图像的文本到图像扩散模型的性能。它提出了一个 Prompt Language Model (PLM) 的框架,通过优化的提示来对生成的图像进行对齐,通过大量实验证明,