Oct, 2023

预训练扩散模型中不可监督地发现可解释的 h - 空间方向

PDF
TL;DR我们提出了第一个无监督的基于学习的方法，用于识别预训练扩散模型的可解释方向。通过联合优化移位控制模块和再构造器，模型可以自主发现解耦和可解释的方向。我们还提出了一种基于梯度检查点技术的通用 VRAM 高效训练算法来解决 GPU VRAM 存储问题。与现有的扩散模型相关工作相比，我们的方法具有全局化和可扩展性的优势，不需要任何复杂的额外步骤，并且广泛实验证明了我们方法的有效性。
unsupervised learninginterpretable directionspre-trained diffusion modelsshift control modulevram-efficient training algorithm
发现论文，激发创造
  • GAN 潜空间中可解释方向的无监督发现

    本文提出了一种无监督的方法来确定预先训练 GAN 模型的潜在空间中的可解释方向，从而实现对图像的控制生成，其应用包括弱监督显着性检测等。

    Feb, 2020

  • 自我发现可解释的扩散潜在方向用于负责任的文本到图像生成

    通过自监督方法找到可解释的潜在方向，提出了一种简单的方法来缓解不合适的图像生成。进行了广泛实验证明了缓解方法的有效性，特别是对于公平生成、安全生成和负责任的文本增强生成。

    Nov, 2023

  • NoiseCLR：对扩散模型中可解释方向无监督发现的对比学习方法

    本论文提出了一种无监督的方法来发现基于文本到图像扩散模型的潜在语义，无需依赖文本提示，通过对比学习目标，在不同领域的图像中发现多样的语义，实现高度解耦的编辑。

    Dec, 2023

  • 探索基于梯度的 GAN 多方向控制

    该论文提出了一种基于梯度信息的新方法，探索生成对抗网络 (latent space) 中的非线性控制，实现了多方向控制和有效解缠，这使得 GANs 的可控生成问题得到了解决。

    Sep, 2022

  • 全球反事实方向

    本文研究了一种全局化的视觉反事实解释方法，通过发现扩散自动编码器的潜在空间可以编码给定分类器的推理过程，提出一种新的基于代理的方法，以完全黑盒方式推断出两种全局反事实方向（GCDs），并展示了与潜在综合梯度相结合的新的黑盒归因方法，同时加强了对反事实解释的理解。

    Apr, 2024

  • LatentCLR：一种用于无监督发现可解释方向的对比学习方法

    本研究提出了基于对比学习的方法，以自我监督的方式在预先训练的生成对抗网络的潜在空间中发现语义方向，并发现了与现有最先进方法可比较的有意义的语义维度。

    Apr, 2021

  • 增强扩散模型的可控性

    该研究使用基于 GAN latent space 的技术和生成式扩散模型，通过条件输入的两个 latent codes（空间内容掩码和扁平化样式嵌入）对其生成进行控制，从而实现图像的有效操控和转化。

    Feb, 2023

  • 面向图表示学习的定向扩散模型

    本文提出了一种名为方向扩散模型的新型模型，该模型在学习非等向性结构时比传统扩散模型更加有效，应用于无监督表示学习，并在 12 个公共数据集上的不同图表示学习任务中得到证明。

    Jun, 2023

  • GANSpace：发现可解释的 GAN 控制

    这篇论文介绍了一种简单的技术，用于分析生成对抗网络（GANs）并创建图像合成的可解释性控制，例如视角变化、衰老、照明和白天时间，通过主成分分析（PCA）在潜在空间或特征空间中应用来识别重要的潜在方向。然后，我们展示了大量可以通过沿着主要方向进行层间扰动来定义的可解释控制。此外，我们展示了 BigGAN 可以通过类似 StyleGAN 的方式用层次输入进行控制，并显示了在不同数据集上训练的各种 GAN 上的结果，并通过较早的监督方法找到了良好的定性匹配。

    Apr, 2020

  • 无人监督下生成扩散特征用于 3D 分层结构探索

    本研究使用生成扩散模型来发现生物医学三维图像中所有内在层次结构，并设计了三种损失来训练预测性的无监督分割网络，使其能够将三维体积分解为具有层次结构的有意义的子体积，取得了优于现有无监督结构发现方法的性能，可在具有挑战性的仿真数据集和真实的脑肿瘤 MRI 数据集上使用。

    Apr, 2023