GAN 的有效快捷技术

Jan, 2022

Effective Shortcut Technique for GAN

Seung Park, Cheol-Hwan Yoo, Yong-Goo Shin

TL;DR本文介绍了一种新的快捷方式方法 ——gated shortcut，该方法在保留残差块的优点的同时，进一步提高了 GAN 性能。在 CIFAR-10、CIFAR-100、LSUN 和 tiny-ImageNet 等标准数据集上进行的大量实验结果表明，gated shortcut 取得了令人印象深刻的 GAN 性能，如 Frechet inception distance（FID）和 Inception score（IS）。

Abstract

In recent years, generative adversarial network (GAN)-based image generation techniques design their generators by stacking up multiple residual blocks. The residual block generally contains a shortcut, \ie skip

generative adversarial network gan-based image generation residual blocks gated shortcut gan performance

发现论文，激发创造

利用特征循环生成器改进 GANs

本研究提出了一种新的单元结构 - 特征循环块（FCB），可以用于生成对抗网络（GANs）的生成器架构中。该单元结构具有两个分支，一个是内存分支，另一个是图像分支。其中，内存分支在生成器的每个阶段保持有意义的信息，图像分支则从内存分支获取一些有用的特征，以生成高质量的图像。通过在多个数据集上进行实验，结果表明了本方法的显著优越性。

Oct, 2022

可视化残差网络

本篇论文通过定性视觉和实证分析，研究残差网络中残差跳转连接的作用，揭示残差跳转连接强制不同层次的卷积层区分特征的实际意义，证明残差网络遵循卷积神经网络慢慢学习局部特征并学习整个物体全局特征的普适性。

Jan, 2017

面向高保真度小样本图像合成的更快更稳定的 GAN 训练

本文提出了一种轻量级的 GAN 结构，通过跳过层通道智能激发模块和自监督判别器训练作为特征编码器，实现少量样本进行高保真度图像的合成与生成。与 StyleGAN2 相比，本模型在数据和计算预算有限的情况下具有卓越的性能表现。

Jan, 2021

教师不仅仅教授：压缩图像到图像模型

通过引入教师网络，在搜索空间中查找高效的网络架构并进行知识蒸馏，该方法可以在更小的计算成本下实现类似于原始模型的图像质量，从而可能解决生成对抗网络的计算成本高的问题。

Mar, 2021

DepthwiseGANs：用于逼真图像合成的快速训练生成对抗网络

本篇论文探讨了使用 DepthwiseGAN 架构生成逼真图像的方法，并通过 Fréchet Inception Distance 对生成数据质量进行了评估。结果表明，DepthwiseGAN 可以在较短的训练期间内生成逼真的图像，但是模型容量对于生成建模仍然具有重要作用。

Mar, 2019

投影 GAN 更快收敛

本文提出了一种基于预训练特征空间的投影生成对抗网络（GAN）来改善 GAN 的训练难度，通过将所生成的和真实样本投影到该空间中，激活深层特征，并混合深层特征中的通道和分辨率，从而提高图像质量和训练速度，并成功地将 Frechet Inception Distance （FID）值在 22 个基准数据集上进一步提高，同时加快了训练速度。

Nov, 2021

FIANCEE: 基于条件提前退出的对抗网络快速推断

本文提出了一种利用早期退出支路来降低计算量的方法，并在两种最先进的生成任务模型上应用，即从语义映射中生成和面部表情的交叉重演，可以输出具有自定义较低质量阈值的图像，尤其适用于实时应用场景。

Apr, 2023

SkipNet: 卷积网络中动态路由的学习

通过使用 SkipNet，结合特定输入实现卷积层跳过的目的。我们提出了一个混合学习算法，以解决非可微分跳过决策的问题，并在四个基准数据集上展示了 SkipNet 可以在保留准确性的基础上减少计算量 30-90%。此外，我们定性评估了门控策略，揭示了图像大小和显著性以及跳过层数之间的关系。

Nov, 2017

GANs 的双对比损失和注意力

本文提出了多项改进，包括新型的双重对比损失和重塑注意力机制，来加强生成对抗网络的无条件图像生成能力，在多个基准数据集上将最先进的状态压制得更为出色。

Mar, 2021

ResNet 解密

ResNet 是一种残差网络，利用快捷连接显著减少了训练的难度，同时在训练和泛化误差方面都实现了很好的性能提升，我们提供了快捷连接 2 的独特理论解释，它可以使训练非常深的模型与浅的模型一样容易，同时我们的实验证明了通过使用快捷连接 2 进行小权重初始化，可以从不同的角度（最终损失、学习动态和稳定性，以及沿着学习过程的海森矩阵的行为）实现显着更好的结果。

Nov, 2016