可控个性化文本到图像生成的文本反转

Apr, 2023

可控个性化文本到图像生成的文本反转

Controllable Textual Inversion for Personalized Text-to-Image Generation

Jianan Yang, Haobo Wang, Ruixuan Xiao, Sai Wu, Gang Chen...

TL;DR本文提出了一种名为 COTI 的新方法，应用在大规模生成模型中，通过一个综合的、新颖的加权评分机制指导的理论损失目标，实现了具有鲁棒性、数据高效性和易于使用等特点，能够显著提升 FID 得分并增加 R-precision 的生成模型，一定程度上解决了过往生成模型中仍存在的问题。

Abstract

The recent large-scale generative modeling has attained unprecedented performance especially in producing high-fidelity images driven by text prompts. Text inversion (TI), alongside the text-to-image model backbo

generative modeling text-to-image controllable textual inversion active-learning paradigm fid score

发现论文，激发创造

文本倒装用于概念审查的后门技术

通过在 Textual Inversion 嵌入式中注入后门技术，实现概念审查，以防止个人化技术被恶意用户滥用。

Aug, 2023

严重程度可控的文本到图像生成模型的偏倚操纵

通过利用嵌入的语言模型的数学基础，我们的技术使得在模型偏见的作用下对输出的严重程度进行可扩展和便捷的控制，同时也允许通过精确的提示工程生成通常不真实的图像，我们还演示了将此操纵用于平衡生成类别频率的构造性应用。

Apr, 2024

无梯度文本反演

本文提出了一种基于进化策略的梯度自由框架，用于优化文本反演的过程，试图解决个性化文本生成中因梯度下降算法的内存消耗大、部署复杂等问题。实验结果表明，采用该方法生成的文本图像与采用梯度下降方法生成的相比，性能几乎没有损失，但能够获得更高的计算效率和更广泛的适用性。

Apr, 2023

LocInv: 文本指导图像编辑中的定位感知反转

基于 T2I 扩散模型，本研究提出了一种局部感知反演（LocInv）方法，通过利用分割地图或边界框作为额外的定位先验，精确修正扩散过程中的交互关注图，使其与文本提示中的正确名词和形容词单词紧密对齐，从而实现对特定对象的细粒度图像编辑，并防止对其他区域产生不希望的改变。该方法在 COCO 数据集的子集上经过广泛评估，定量和定性地都取得了优秀的结果。

May, 2024

TIBET: 文本到图像生成模型中的偏见识别和评估

我们提出了一种通用方法，通过反事实推理来研究和量化任何文本到图像生成模型和任何提示的广泛偏见和偏差，并以语义概念的形式扩展了定量评分。

Dec, 2023

RenAIssance: 大型模型时代的 AI 文字到图像生成调查

文本到图像生成使用神经网络和扩展模型规模的创新模型架构与预测增强技术相结合的方法，提供了几种不同的方法并对其进行了详细比较和评价，为未来的工作提供了改进的可能路径。

Sep, 2023

基于直接一致性优化的文本到图像个性化

通过最大化与参考图像的一致性并惩罚与预训练模型的偏差，我们提出了一种通过最小程度微调预训练模型以实现一致性的 T2I 扩散模型的新型训练目标，称为 “直接一致性优化”。我们的方法不仅简单而且显著提高了个性化 T2I 模型的组合能力，并引入了一种控制图像保真度和提示保真度权衡的抽样方法。最后，我们强调必须使用详尽的标题作为参考图像，以进一步增强图像和文本的对齐。我们证明了所提方法在 T2I 主题、风格或两者个性化方面的有效性。生成的示例和代码可在我们的项目页面（this https URL）中找到。

Feb, 2024

基于小波引导的扩散图像编辑中的文本反转加速

通过使用 WaveOpt-Estimator 和 Negative-Prompt Inversion 等创新方法以及波形变换分析，本研究提出了一种在保持图像结构的同时加速图像编辑过程的方法，相对于传统 Null-text Inversion 方法平均编辑时间减少超过 80%，为基于扩散模型的高效、高质量图像编辑研究提供了有希望的方法。

Jan, 2024

通过自动提示优化提升文本到图像的一致性

通过利用大型语言模型，在文本到图像的生成模型中改善提示 - 图像的一致性，我们的方法能够提高一致性得分、保持图像质量和提高生成图像与真实数据之间的相似度，为构建可靠且强大的文本到图像模型铺平了道路。

Mar, 2024

文本反转与自监督精炼的放射学报告生成

此篇论文提出了基于文本反转和自监督改进 (TISR) 的方法，通过解决编码器和解码器网络结构的问题，克服了模态差异和报告内容限制，实现了文本和图像在同一空间中的表示，通过对图像和文本之间的对比损失计算来改进生成的报告的准确性。该方法与现有方法独立且易于使用，通过在两个常用公开数据集上的实验，取得了显著的改进效果，展示了 TISR 的有效性和普适性。

May, 2024