CVPRMar, 2020

超分辨率通用风格转换的协同蒸馏

PDF
TL;DR本文提出了一种名为协作蒸馏的知识蒸馏方法，通过编码器 - 解码器神经网络实现通用的风格迁移，并在不损失性能的情况下将卷积滤波器个数大幅降低。
style transferknowledge distillationneural networksencoder-decodercnn models
发现论文，激发创造
  • 基于 PCA 的知识蒸馏：实现轻量化、内容和风格均衡的逼真风格转换模型

    通过使用 PCA-based 知识蒸馏方法实现轻量级模型，实现了相较于当前模型 5-20 倍更快且参数更少的风格迁移方法，并保证了良好的内容保留和风格化特征的平衡。

    Mar, 2022

  • 基于特征转换的通用风格迁移

    本論文提出了一種簡單而有效的方法，使用特徵轉換技術：白化和著色，實現了通用風格轉換，以轉換任意視覺風格並生成高質量的風格圖像。

    May, 2017

  • 通过协同蒸馏和核分解压缩面部化妆转移网络

    本研究旨在压缩面部化妆转换网络，通过协作蒸馏和核分解这两种方法进行模型压缩，从而提高模型运行效率，试验结果表明，这种压缩方法可以有效地应用于美妆转换领域。

    Sep, 2020

  • 在线知识蒸馏的同行协作学习

    该论文提出了一种名为 “Peer Collaborative Learning” 的在线知识蒸馏方法，该方法能够将在线集成和网络协作融入一个统一的框架中，并在 CIFAR-10，CIFAR-100 和 ImageNet 等数据集上得到了验证及优于其他方法的效果。

    Jun, 2020

  • 通用风格转换的闭式解

    通过将其视为最优输运问题（Optimal Transport Problem），我们提出了一种新颖的样式转移解释方法，并证明了与 AdaIN 和 WCT 之类的旧方法的关系，并在考虑了 Gatys 的内容损失后得出了闭合形式的最优样式转移（OST）解决方案。

    Jun, 2019

  • 优秀的学生具备合作和可靠性：CNN-Transformer 语义分割的协同学习

    本文介绍了一种在线知识蒸馏框架，通过选择和交换可靠知识来协同学习基于卷积神经网络（CNN）和视觉变压器（ViT）的模型，以进行语义分割。经过大量实验验证，我们提出的框架在大幅领先于现有的在线蒸馏方法的同时，展示了 ViT 和 CNN 模型之间协同学习的有效性。

    Jul, 2023

  • 联合渐进式知识蒸馏和无监督领域自适应

    本研究提出了一种新方法，通过域自适应和无监督知识蒸馏，联合优化卷积神经网络，实现压缩模型并适应于特定目标领域，结果表明该方法在实现较高准确度的同时，比现有的压缩和域自适应技术具有相当或更低的时间复杂度，在实际应用中有较好的应用前景。

    May, 2020

  • 在精简 StyleGAN 时要注意差距

    这篇论文提出了一种基于输出一致性和潜在空间的语义关系的潜在方向的蒸馏方法，以解决 StyleGAN 的蒸馏问题，该方法在蒸馏 StyleGAN2 和 StyleGAN3 方面的效果显著优于现有的 GAN 蒸馏方法。

    Aug, 2022

  • 基于扩散的图像翻译：使用解缕分离的风格和内容表征

    本文提出了一种基于扩散的非监督图像转换方法，使用分离的风格和内容表征，并使用 ViT 模型中的中间键提取多头自注意层作为内容保存损失，并匹配文本驱动风格转移的 [CLS] 分类令牌，同时使用额外的 CLIP 损失，实验结果表明，该方法在文本引导和图像引导的转换任务中优于现有的基准模型。

    Sep, 2022

  • 目标感知 Transformer 的知识蒸馏

    本篇论文提出了一种新型的知识蒸馏方法，采用一对所有的空间匹配，提高小型神经网络的性能，不同于以往的一对一的空间匹配，从而导致所有的空间位置通常都具有不同的语义信息。该方法在各种计算机视觉基准测试中都超过了最先进的方法。

    May, 2022