基于大规模的文本到图像生成模型，本研究针对图像编辑的问题，通过动态提示学习 (DPL) 方法修复交叉注意力图，实现对特定对象的精细图像编辑，防止对其他图像区域的意外更改。通过广泛的评估，DPL 方法在多个指标上取得了卓越的结果，尤其是在复杂的多物体场景中进行的提示编辑，包括单词替换、提示改进和注意力重新加权。

Sep, 2023

这篇论文介绍了一种名为 POAC 的新方法，旨在增强从抽象概念中解释和生成图像的文本到图像扩散模型的性能。它提出了一个 Prompt Language Model (PLM) 的框架，通过优化的提示来对生成的图像进行对齐，通过大量实验证明，POAC 显著提高了生成图像的准确性和美学质量，尤其是在描述抽象概念和优化提示方面。

Apr, 2024

本研究提出了一种基于 Adversarial Decoupling Augmentation Framework (ADAF) 的面部隐私保护算法，通过针对图像 - 文本融合模块增强面部隐私保护算法的防御性能，采用多级文本相关增强措施提高对各种攻击者提示的防御稳定性，并在 CelebA-HQ 和 VGGFace2 上进行广泛的实验，证明了 ADAF 比现有算法具有更好的性能。

May, 2023

我们提出了 BeautifulPrompt，这是一个深度生成模型，可以从非常简单的原始描述中生成高质量的提示，从而使基于扩散模型生成更美丽的图像。我们使用视觉 AI 反馈的强化学习技术来进一步优化模型，以提高生成的提示和图像的质量，并将 BeautifulPrompt 集成到云原生 AI 平台，提供更好的云端文本到图像生成服务。

Nov, 2023

T2I 扩散模型的自适应提示优化裁剪 (APTP) 通过学习提示路由模型和架构代码来减少计算负担，优于单模型裁剪，在 FID、CLIP 和 CMMD 指标上具有更好的性能，并发现语义上有意义的聚类。

Jun, 2024

我们提出了一种新的方法，通过将可学习提示引入交叉注意力模块，从文本到图像生成模型中去除不良概念。这种可学习提示作为额外的记忆来传递不良概念的知识，并减少这些概念对模型参数和对应文本输入的依赖。通过这种知识传递，擦除这些不良概念更稳定，并对其他概念的负面影响较小。我们在稳定扩散模型上展示了我们方法的有效性，展示了它在去除不良内容同时保留其他无关元素方面的优越性。

Mar, 2024

提出了一种基于生成模型的低维流形中的对抗潜在编码来保护面部隐私的方法，该方法利用用户定义的化妆文本提示和保存身份信息的正则化来引导对潜在空间中的对抗编码的搜索，实验结果表明该方法的人脸隐私保护效果优于现有技术。

Jun, 2023

使用 DP-Prompt 及类似 ChatGPT 的强大语言模型在 IMDB 数据集上进行实验，发现其能够有效减少 de-anonymization 攻击成功率，并在与现有方法相比设计更简单的情况下，完全恢复了清洁情感 F1 分数，同时在对抗静态攻击者和自适应攻击者方面分别实现了 46% 和 26% 的减少

Oct, 2023

本研究提出了一种基于 Prompt 的新型对抗攻击和提高自然语言处理模型的鲁棒性的技术，包括恶意 Prompt 构建、对抗样本生成和 Prompt-based 对抗训练方法，并实验验证了攻击成功率的高效性和鲁棒性提高方法的有效性。

Mar, 2022

通过解耦关注力，提出了一种新的方法 Decoupled Prompt Learning (DPL) 来增强 prompt learning 的泛化能力，并在多个基准测试中取得了最先进的性能。

Aug, 2023