Apr, 2021

LatentCLR：一种用于无监督发现可解释方向的对比学习方法

PDF
TL;DR本研究提出了基于对比学习的方法，以自我监督的方式在预先训练的生成对抗网络的潜在空间中发现语义方向，并发现了与现有最先进方法可比较的有意义的语义维度。
generative adversarial networkslatent spacecontrollable image generationsemantic editingself-supervised learning
发现论文，激发创造
  • GAN 潜空间中可解释方向的无监督发现

    本文提出了一种无监督的方法来确定预先训练 GAN 模型的潜在空间中的可解释方向，从而实现对图像的控制生成，其应用包括弱监督显着性检测等。

    Feb, 2020

  • NoiseCLR：对扩散模型中可解释方向无监督发现的对比学习方法

    本论文提出了一种无监督的方法来发现基于文本到图像扩散模型的潜在语义，无需依赖文本提示，通过对比学习目标，在不同领域的图像中发现多样的语义，实现高度解耦的编辑。

    Dec, 2023

  • GAN 潜空间的视觉概念词汇

    本文介绍了一种新的方法，针对生成对抗网络（GAN）中的潜在空间建立无限制的基元视觉概念词汇表，该方法通过三个组件实现：(1) 基于层选择自动识别知觉显著方向；(2) 人工注释这些方向以自由形式的组成自然语言描述，以及 (3) 将这些注释分解为视觉概念词汇表，由单词标记的精简方向组成。实验表明，使用我们的方法学习的概念是可靠和可组合的 - 概念可以跨越类别、上下文和观察者进行概括，并且可以实现对图像风格和内容的精细操作。

    Oct, 2021

  • LARGE: 基于 GAN 语义的潜变量回归

    本文提出了一种新的利用少样本或弱监督方式解决回归任务的方法，该方法利用生成式对抗网络（GANs）的语义信息表征能力，实现了将预先训练好的 GANs 转化成回归模型的操作，并证明了其在众多数据集和领域上的高效性。

    Jul, 2021

  • 对比自监督学习中的维度崩塌的理解

    本文介绍了一种自监督学习方法 —— 对比学习。为了避免嵌入向量全部收敛到常数解的问题，这篇文章提出了一种新的对比学习方法 DirectCLR，该方法直接优化表示空间而不依赖于显式可训练的投影仪。实验表明，DirectCLR 在 ImageNet 上的表现优于 SimCLR。

    Oct, 2021

  • FakeCLR: 探索对比学习以解决数据高效 GAN 中的潜在不连续性

    本文研究了如何在训练数据有限的情况下，通过对抗网络（GAN）学习生成模型的高效生成方法。研究发现，目前的瓶颈在于潜在空间的不连续性，并提出了 FakeCLR 方法，使用对假样本的对比学习技术提高 DE-GANs 的生成性能，实验结果表明在多个数据集上比现有 DE-GANs 提高 15% 以上。

    Jul, 2022

  • 对比预测编码的表示学习

    本研究提出了一种普适的无监督学习方法 Contrastive Predictive Coding，通过使用强大的自回归模型在潜在空间中预测未来来提取高维数据的有用表示，以此学习有用的表示并在语音，图像，文本和三维环境中的强化学习中实现了强大的表现。

    Jul, 2018

  • 探索基于梯度的 GAN 多方向控制

    该论文提出了一种基于梯度信息的新方法，探索生成对抗网络 (latent space) 中的非线性控制，实现了多方向控制和有效解缠，这使得 GANs 的可控生成问题得到了解决。

    Sep, 2022

  • GANSpace：发现可解释的 GAN 控制

    这篇论文介绍了一种简单的技术，用于分析生成对抗网络（GANs）并创建图像合成的可解释性控制，例如视角变化、衰老、照明和白天时间，通过主成分分析（PCA）在潜在空间或特征空间中应用来识别重要的潜在方向。然后，我们展示了大量可以通过沿着主要方向进行层间扰动来定义的可解释控制。此外，我们展示了 BigGAN 可以通过类似 StyleGAN 的方式用层次输入进行控制，并显示了在不同数据集上训练的各种 GAN 上的结果，并通过较早的监督方法找到了良好的定性匹配。

    Apr, 2020

  • 自我发现可解释的扩散潜在方向用于负责任的文本到图像生成

    通过自监督方法找到可解释的潜在方向，提出了一种简单的方法来缓解不合适的图像生成。进行了广泛实验证明了缓解方法的有效性，特别是对于公平生成、安全生成和负责任的文本增强生成。

    Nov, 2023