CVPRMar, 2022

小波知识蒸馏：实现高效的图像到图像翻译

PDF
TL;DR本论文提出了一种基于离散小波变换的知识蒸馏方法，用于提高小型生成对抗网络在高频信息生成方面的性能，在保证性能无明显下降的情况下，可将模型体积缩小 7.08 倍、加速 6.80 倍，并研究了鉴别器和生成器之间的关系。
generative adversarial networksknowledge distillationwavelet transformationfrequency perspectiveimage-to-image translation
发现论文，激发创造
  • 知识蒸馏压缩生成对抗网络

    本研究提出了使用知识蒸馏技术压缩生成对抗网络 (GANs) 参数的方法，使得在固定参数预算内，压缩后的 GANs 可以产生比标准训练方法更高质量的图像。我们观察到 GANs 的压缩有其定量的极限，并且过度参数化的 GANs 优化问题对交替梯度下降提供了高效的训练，这表明使用我们的方法可以获得高质量的生成模型与较少的参数。

    Feb, 2019

  • 生成对抗网络压缩的可移植图像翻译模型

    提出一种基于知识蒸馏和对抗学习的方法，通过设计更加轻量化的学生生成器和判别器，来实现在移动设备上学习图像生成模型的目标，并在基准数据集上取得了较强的性能表现。

    Mar, 2020

  • 图像到图像翻译的语义关系保持知识蒸馏

    本文提出了使用知识蒸馏和语义保留矩阵以压缩学生模型大小的方法，该方法在 5 个数据集和 3 个教师 - 学生模型对的实验中，证明可以在生成对抗网络的图像到图像翻译任务中取得令人印象深刻的质量和数量上的优秀结果。

    Apr, 2021

  • 大规模生成无数据蒸馏

    提出了一种新的方法，通过利用训练教师网络内在归一化层的统计信息来训练生成图像模型，从而在没有训练数据的情况下实现知识迁移、模型压缩和半监督学习，该方法在 CIFAR-10 和 CIFAR-100 数据集上表现出色，并能够将其扩展到 ImageNet 数据集。

    Dec, 2020

  • E$^{2}$GAN: 图像到图像翻译的高效 GAN 训练

    通过利用大规模的文本到图像扩散模型进行数据提炼，我们提出了一种更高效的方法，通过精细调整通用化特征的基础生成对抗网络模型，而不是重新训练整个基础模型，并采用简单但有效的秩搜索过程来进行低秩适应，从而显著减少了培训成本和与每个概念相关的存储，使得移动设备能够高效地实现实时高质量的图像编辑。

    Jan, 2024

  • 小波扩散模型：快速可扩展的图像生成器

    通过提出一种基于小波的扩散方案以及使用重构项来提高模型训练收敛性，本文旨在缩小扩散模型与 GAN 模型之间速度差距，实验结果证明该方案是实现实时高保真扩散模型的基础。

    Nov, 2022

  • 频率注意力知识蒸馏

    使用频域中的注意机制，在图像分类中提出了一种增强的知识蒸馏模型，可以从复杂的教师模型中提取全局信息，并在各种教师和学生架构上实验证明本方法优于其他知识蒸馏方法。

    Mar, 2024

  • FreeKD: 语义频率提示下的知识蒸馏

    使用频率领域的知识蒸馏方法进行密集预测任务时，Frequency Knowledge Distillation（FreeKD）在吸收语义频率上下文、定位像素兴趣点和提供高阶空间增强等方面取得了比基于空间的蒸馏方法更好的效果。

    Nov, 2023

  • 迭代生成模型中的知识蒸馏以提高采样速度

    本篇论文介绍了一种新的技术，将多步去噪过程压缩为单步的知识蒸馏方法，从而提高图像生成的采样速度，且不需要对抗训练，通过在 CIFAR-10、CelebA 数据集上的实验表明，我们的去噪学生 Denoising Student 能够生成与 GANs 相当的高质量样本，并可扩展到更高像素的图像生成任务。

    Jan, 2021

  • WaveGAN：面向高保真少样本图像生成的频率感知 GAN

    提出了 WaveGAN，一种面向少样本图像生成的频率感知模型，通过对多个频率组件的编码特征进行解耦，并通过低频跳过连接和高频跳过连接来生成高质量的图像，实验证明其在三个数据集上均取得了最先进的效果。

    Jul, 2022