BRAT:架构无关的文本反转的奖励正交令牌
本文介绍了一种精确的图片逆向生成技术,实现了基于文本的图片编辑,通过引入Pivotal inversion和NULL-text optimization技术,以条件嵌入为导向,避免了模型权重的繁琐调整,并在真实照片上进行了高保真度编辑。
Nov, 2022
本文提出了一种基于进化策略的梯度自由框架,用于优化文本反演的过程,试图解决个性化文本生成中因梯度下降算法的内存消耗大、部署复杂等问题。实验结果表明,采用该方法生成的文本图像与采用梯度下降方法生成的相比,性能几乎没有损失,但能够获得更高的计算效率和更广泛的适用性。
Apr, 2023
本文提出了一种基于Prompt Tuning Inversion的精确快速反演技术,用于文本驱动的图像编辑,能够在保留输入图像高准确度的同时进行灵活的编辑,实验证明该方法在ImageNet数据集上的表现优于现有技术。
May, 2023
本文研究了使用用户提供的参考图像约束扩散模型输出的问题,旨在从单个参考图像中提取多个属性,并使用这些属性生成新的样本。首先,文中分析了在去噪过程的时间步维度和DDPM模型层维度中捕获的属性,并发现某些属性在相同的模型层和时间步骤中被捕获。基于这些发现,文中设计了一种新的多属性逆向算法MATTE,可以明确分离四个属性(颜色、风格、布局和物体)。
Nov, 2023
通过引入正交适应方法,我们解决了一个名为模块化定制的新问题,旨在高效合并独立为个别概念进行微调的定制模型,从而在一幅图像中联合合成概念,同时保持保真度且不增加计算开销,这一方法在效率和身份保持方面始终优于相关基线。
Dec, 2023
通过使生成的图像内容与用户意图一致的提示,该方法利用扩散模型进行串行优化得到直观的语言提示,从而产生具有相似内容的多样化图像。
Dec, 2023
通过固定点迭代的方法解决了扭曲反演的技术性挑战,设计了用于图像生成和处理的基于文本引导的扩散模型,并通过提示感知的编码调整改进了反演质量,最终在多个下游任务中取得了显著的改进。
Dec, 2023
通过优化传统的采样过程,基于视觉语言模型的训练无生成模型可以实现更好的文本-图像对齐。结合Score Distillation Sampling模块,我们的方法可以生成高质量的图像。
Feb, 2024