Jun, 2023

基于范数引导的文本到图像生成潜空间探索

PDF
TL;DR本文提出一种新的插值方法和质心评估技术，定义了一种新的非欧几里得度量，基于范数先验来插值 Seed。实验表明，这种新的技术显著提高了图像生成的稀有概念和少量数据学习性能。
text-to-image diffusion modelslatent seed spaceeuclidean and spherical metricsfew-shot and long-tail learningcentroid evaluation techniques
发现论文，激发创造
  • 用扩散模型在图像之间进行插值

    通过使用潜在扩散模型进行无监督插值，我们在降噪、文本嵌入和主题姿势上实现了一致而令人信服的图像插值，而传统的数量指标如 FID 则无法准确度量插值质量。

    Jul, 2023

  • 几何丰富的潜空间

    通过将环境空间视为黎曼多维流形，可以利用相关的黎曼度量对领域知识进行编码，通过环境度量的仔细设计我们可以确保最短路径的行为表现良好，实验结果表明，我们的方法可以提高随机和确定性生成器的可解释性。

    Aug, 2020

  • 自我发现可解释的扩散潜在方向用于负责任的文本到图像生成

    通过自监督方法找到可解释的潜在方向，提出了一种简单的方法来缓解不合适的图像生成。进行了广泛实验证明了缓解方法的有效性，特别是对于公平生成、安全生成和负责任的文本增强生成。

    Nov, 2023

  • 隐式模型中的语义插值

    本研究针对隐式模型中的编码向量进行变换插值时，提出需要考虑编码向量的分布假设和插值路径的几何关系；在此基础上，通过改变编码先验分布，将更多概率分布集中在原点附近，得到保证线性插值路径穿过高密度区域的方案，实现生成图像的质量和插值路径的意义更加明显。

    Oct, 2017

  • 平滑扩散：精心创造扩散模型中的平滑潜在空间

    最近，扩散模型在文本到图像 (T2I) 生成方面取得了显著进展，合成出高保真度和多样性内容的图像。然而，扩散模型内的潜在空间平滑性仍然很少被研究。我们通过观察到微小的潜在变化导致明显的视觉波动来揭示扩散潜在空间的非平滑性。为了解决这个问题，我们提出了 Smooth Diffusion，这是一种新类别的扩散模型，既高效又平滑。具体而言，我们引入了逐步变化规范化，以确保任意输入潜在的变化与输出图像的变化之间的比例在扩散训练的任何步骤中都是恒定的。此外，我们设计了插值标准差 (ISTD) 度量，以有效评估扩散模型的潜在空间平滑性。广泛的定量和定性实验表明，Smooth Diffusion 在 T2I 生成以及其他各种下游任务中都表现出更好的解决方案。Smooth Diffusion 作为一个即插即用的 Smooth-LoRA 与不同的社区模型配合使用。代码可在此 https 的 URL 获取。

    Dec, 2023

  • NoiseCLR：对扩散模型中可解释方向无监督发现的对比学习方法

    本论文提出了一种无监督的方法来发现基于文本到图像扩散模型的潜在语义，无需依赖文本提示，通过对比学习目标，在不同领域的图像中发现多样的语义，实现高度解耦的编辑。

    Dec, 2023

  • 通过连续变异因素控制生成模型

    本文提出了一种新的方法，通过找到生成模型中有意义的方向来提高生成模型潜在空间的可解释性，从而精确地控制生成图像的特定属性，如位置或比例。该方法对于搜索编码生成图像的简单变换方向（如平移，缩放或颜色变化）特别适用，并在 GAN 和变分自动编码器模型的质量和量化方面得到了证明。

    Jan, 2020

  • 基于双曲几何的潜在扩散模型用于图生成

    通过建立基于双曲几何的可解释度度量的几何潜变空间，使用径向和角度几何特性约束的几何潜变过程，HypDiff 框架能有效地捕捉和保留图的拓扑信息，并在各种拓扑结构的图生成中表现出卓越的效果。

    May, 2024

  • 通过特征空间增强和迭代学习实现长尾图像生成

    基于稀疏嵌入和 K-NN 方法，我们提出了一种基于预训练的稳定扩散模型的图像增强方法，以解决图像生成中的数据不平衡问题。

    May, 2024

  • 从何处开始：带种子选择的文本图像生成

    研究了长尾训练数据对于文本到图像模型的影响，并提出了 SeedSelect 技术，通过在噪声空间中选择适当的初始种子，可以有效地生成罕见的图像概念，提高了模型效果，特别是在手部图像生成方面的表现得到了明显改善。

    Apr, 2023