Jun, 2024

LIPE：学习非刚性图像编辑的个性化身份先验

PDF
TL;DR该研究探讨了学习用于非刚性图像编辑的个性化身份先验的新任务，并提出了一个两阶段框架 LIPE，通过利用同一主题的有限图像集来定制生成模型，并利用学习到的先验进行非刚性图像编辑。实验结果在定性和定量方面证明了我们的方法在各种编辑场景中相对过去相关领先方法的优势。
non-rigid image editingtext-to-image diffusion modelspersonalized identity priorlipegenerative model
发现论文，激发创造
  • 基于扩散的刚体与非刚体编辑方法及其在文本和图像导向下的统一应用

    该研究提出了一种多功能图像编辑框架，可以执行刚性和非刚性编辑，并通过文本提示或参考图像进行引导。通过应用双路径注入方案来处理各种编辑场景，并引入了整合的自注意机制来融合外观和结构信息。综合实验证明了该方法的有效性，在基于文本的编辑和外观转换任务中取得了竞争性或优越的结果，适用于刚性和非刚性设置。

    Jan, 2024

  • PLIP: 人物表示学习的语言图像预训练

    该研究提出了一种新的预训练框架用于人物表征学习，名为 PLIP，其中包括三个预文本任务：图像着色、属性预测和视觉 - 语言匹配，在一个新的大规模人物数据集 SYNTH-PEDES 上对其进行了评估并取得了优于先前方法的效果。

    May, 2023

  • Pix2Pix-OnTheFly：借助 LLMs 实现指导图像编辑

    该研究论文通过语言处理和图像处理的组合吸引了越来越多的关注，其中一项最具挑战性的任务是仅基于自然语言指令对图像进行编辑。本论文提出了一种无需准备的方法，通过图像字幕和 DDIM 反演、获取编辑方向嵌入以及图像编辑等三个步骤有效地进行指令引导的图像编辑，该方法在 MAGICBRUSH 数据集上表现出色，优于最新的先进模型。

    Mar, 2024

  • DreamIdentity：提高可编辑性，实现高效面部身份保留图像生成

    该论文提出了一种优化自由的面部识别编码器，以在条件面部图像中保留面部标识符，并提出了自我增强的可编辑性学习方法，从而在更快的速度下生成具有不同场景下的保留标识符的图像。

    Jul, 2023

  • StableIdentity：首次见面即可将任何人引入任何地方

    在这项工作中，我们提出了 StableIdentity，它允许只通过一张面部图像实现一致性身份重构，并且可以在各种情境中灵活注入所学到的身份，从而实现前所未有的图像、视频和 3D 定制生成模型。

    Jan, 2024

  • 通过稳定扩散进行高度个性化的文本嵌入以进行图像操作

    本文介绍一种基于高度个性化文本嵌入的简单而高效的方法，通过分解 CLIP 嵌入空间来实现个性化和内容操作，并且仅需要一个图像和目标文本即可实现背景、纹理和动态的操作和编辑。

    Mar, 2023

  • 非刚性文本提示的音频编辑

    通过非刚性文本编辑探索音频编辑，我们展示了所提出的编辑流程能够创建与输入音频保持一致的音频编辑结果。我们研究了能够执行加法、风格转移和修复的文本提示，并在定量和定性上展示了这些编辑结果优于最近发布的文本提示音频生成模型 Audio-LDM。通过对结果的定性检查，我们发现我们的方法给出的编辑结果在保持音频事件的原始起始点和结束点方面更为忠实。

    Oct, 2023

  • DiffusionRig：学习个性化先验信息用于面部外观编辑

    使用 DiffusionRig 和基于单张面部图片的 3D 面部模型，本文通过两阶段 - 先 - generic 后 - specific - 的方法来学习人脸先验，从而在保留身份信息的前提下，编辑人物的表情，头发光照等，展现出更好的 photorealism 表现且超越了现有方法。

    Apr, 2023

  • 从野外照片集中学习聚合和个性化三维面孔

    本文提出了一种学习聚合和个性化（LAP）的框架，通过自适应地聚合身份的内在面部因素以及使用属性细化网络来修改面部目标属性与细节，从而实现无监督的鲁棒三维面部建模。

    Jun, 2021

  • E4C: 通过高效的 CLIP 引导提升基于文本的图像编辑的可编辑性

    通过提出名为 E4C 的零样本图像编辑方法，我们在保留源图像内容的同时，通过推理阶段优化来显式增强可编辑性和文本对齐，实现了有效解决现有方法中存在的文本对齐问题，并在广泛的编辑任务中表现良好。

    Mar, 2024