AAAIDec, 2023

基于 Transformer 的流匹配中的潜变空间编辑

PDF
TL;DR通过流匹配和变压器（U-ViT）的结合，实现了简单高效的图像编辑方法，大大提高了生成模型的可扩展性和性能，并提供了对潜在结构和编辑能力的探索。通过引入一个名为 $u$-space 的编辑空间以及针对 ODE 求解器的适应性抽样解决方案，实现了可控、累积和可组合的图像编辑。此外，使用文本提示的简洁而强大的方法实现细粒度和细致的图像编辑。这个框架既简单高效，同时又能保留图像原始内容的本质。
image editinggenerative modelsflow matchingu-vitlatent space manipulation
发现论文，激发创造
  • 潜空间中的流匹配

    本文提出了一种在预训练自编码器的潜在空间中应用流匹配的方法，以实现高分辨率图像合成的计算效率和可扩展性的提高，并将各种条件集成到流匹配中进行条件式生成任务，包括标签条件下的图像生成、图像修复和语义到图像的生成。通过大量实验，本方法在各种数据集上均具有定量和定性的有效性，并提供了重构潜在流分布与真实数据分布之间 Wasserstein-2 距离的理论控制。

    Jul, 2023

  • 使用 Transformer 在潜空间中进行流匹配的收敛性分析

    我们研究了基于 ODE 的生成模型（特别是流匹配），通过使用预训练的自编码网络将高维原始输入映射到低维潜在空间，再通过训练一个转换网络来预测从标准正态分布到目标潜在分布的变换速度场。我们的误差分析证明了这种方法的有效性，显示出通过估计 ODE 流生成的样本分布在温斯坦 - 2 距离下收敛到目标分布，在温和和实际的假设下。此外，我们还展示了具有李普希茨连续性的转换网络可以有效逼近任意平滑函数，这可能具有独立的兴趣。

    Apr, 2024

  • 面部图像和视频的解缩聚变换器

    本研究提出通过 StyleGAN 生成器的潜在空间编辑面部属性，通过训练专门的潜在空间转换网络并在损失函数中添加显式的分离和身份保存项来控制和保护身份，并介绍了一个将面部编辑推广到视频的流程。在真实图像和视频方面表现出出色的性能。

    Jun, 2021

  • 零遮挡文本驱动的面部编辑

    本研究提出了一种基于任意文本提示的人脸编辑方法，通过在人脸图像上施加矢量流场来表示空间坐标和像素颜色的偏移，其中流向量通过栅格化张量或隐式参数化的神经网络实现，并借助预训练的 Contrastive Language-Image Pretraining~(CLIP) 模型进行优化，实现了高度一致性和图像质量的可解释性人脸编辑结果。

    Aug, 2023

  • 使用 StyleGAN 对图像编辑进行残差变形

    提出一种新颖的图像反转架构，该架构提取高速率的潜在特征，并包含流估计模块来对这些特征进行编辑。实验证明，该方法在图像输入的逼真度和编辑质量上都取得了显著的改善。

    Dec, 2023

  • ChatFace: 通过扩散潜空间操作实现聊天引导的真实人脸编辑

    提出了基于扩散模型的文本驱动实际面部图像编辑方法，并通过 ChatFace 交互式系统实现了精确的零样本和多属性操纵。

    May, 2023

  • 基于神经 ODE 的潜在变换应用于 GAN 图像编辑

    本文研究在生成模型中，利用非线性的神经 ODE 来处理非纹理变化因素，挖掘潜在编码空间中的更多属性，并对大量具有已知属性的数据集进行实证研究。

    Nov, 2021

  • 潜编辑器：基于文本驱动的 3D 场景局部编辑

    通过引入 `LatentEditor` 框架，利用文本提示实现对神经场的精确和局部控制编辑，从而在潜空间中实现更快速、更适应性强的 3D 场景编辑。

    Dec, 2023

  • 通过潜空间导航的可控 GAN 用于图像编辑

    本研究提出了一种新的控制图像属性的编辑方法，通过学习多种属性变换和应用内容损失和对抗损失来实现单一和多属性的编辑，并保留图像身份和真实感。此外，提出了客观评价标准以衡量模型性能，结果表明该模型在目标图像操作方面达到了最先进水平。

    Feb, 2021

  • 面部编辑的语义潜变分与标准流

    本论文提出了一种新颖的框架 SDFlow，通过在原始潜空的基础上使用连续条件归一化流实现了语义分解，以解决面部编辑中由于潜空中不同属性之间的纠缠而导致的复杂导航问题，并通过相互信息框架下的解缠学习策略提供精确的操作控制，实验证明 SDFlow 在定性和定量两方面均优于现有最先进的面部编辑方法。

    Sep, 2023