CVPRApr, 2021

重新思考和提高图像风格转移的鲁棒性

PDF
TL;DR研究表明，通过预训练的 VGG 网络提取的特征之间的相关性能够很好的捕捉图像的视觉风格；然而，这种特征传递的鲁棒性在应用于更先进的轻量级网络（如 ResNet）中有所下降。本文通过大量实验发现，残差连接对于 ResNet 来说，生成的特征熵很小，不适合进行风格迁移；提出了一种基于 softmax 转换的特征激活策略，可以增强网络对于传输特征的适应性，提高各种网络类型的风格化效果。
neural style transfervgg networkresnetresidual connectionssoftmax transformation
发现论文，激发创造
  • 利用特征去特定风格化识别 Instagram 滤镜照片

    通过对流行的预训练模型在 Instagram 过滤器下的鲁棒性的分析结果，此文研究了简单的保持结构的过滤器对卷积特征空间的影响，并引入了一种轻量级去风格化模块优化卷积神经网络的表现。

    Dec, 2019

  • 深度神经网络的特征层级增强提高仿射变换鲁棒性

    本文提出了在中间神经网络层引入数据增强以改善卷积神经网络不适用于少量像素旋转或平移的问题，并证明该方法比已有的两种方法获得更好的精度和平均翻转比。

    Feb, 2022

  • 从架构角度重新审视残差网络的对抗鲁棒性

    本文通过针对残差网络的架构设计探究在拓扑结构、深度和宽度等方面的影响，设计了一系列 RobustResNets，实验证明该网络在多个数据集和对抗攻击中表现出色，达到了 AutoAttack 鲁棒准确率的最新记录。

    Dec, 2022

  • 理解 Transformer 模型在图像分类中的稳健性

    本文探讨了基于 Transformer 的网络架构如 Vision Transformer（ViT）的鲁棒性问题，并针对输入扰动和模型扰动等多个方面进行了实验比较，发现在使用足够的数据量进行预训练的情况下，ViT 模型的鲁棒性至少和 ResNet 的对应模型一样。同时，实验还发现虽然后面的层激活之间高度相关，但每一层都对分类起到了重要作用。

    Mar, 2021

  • StyLess: 提升对抗样本的可迁移性

    本研究提出一种称为 StyLess 的对抗攻击方法，通过使用包含不同风格特征的样式化网络，以及利用自适应实例标准化来编码不同的风格特征，从而生成具有可转移性的扰动，以此提高对抗样本的攻击传递能力，并在与其他攻击技术结合时优于现有的攻击方法。

    Apr, 2023

  • 准确性和鲁棒性是否相关？

    通过利用深度卷积神经网络生成对抗性样本，然后比较不同的生成技术在产生图像质量和测试机器学习模型鲁棒性方面的差异，最后在跨模型对抗迁移上进行了大规模实验，研究结果表明对抗性样本在相似的网络拓扑间是可传递的，并且更好的机器学习模型更不容易受到对抗性样本的攻击。

    Oct, 2016

  • 残差连接鼓励迭代推断

    研究表明，Residual networks 可以通过迭代改进特征来执行表示学习和迭代细化，但对于这一过程的全面理解仍然是一个研究课题，并且共享残差层会导致表征爆炸和过拟合，需要采用现有的策略来缓解这个问题。

    Oct, 2017

  • 分层稳健表示学习

    本研究探讨了深度学习中中间层所提取的深层特征，并证明了这些特征的性能可能不佳，因为它们是通过最小化经验风险来学习的。针对当前任务与基准数据集的数据分布不同的情况，本研究提出了一种层次稳健优化方法来学习更通用的特征。该方法同时考虑了 example-level 与 concept-level 稳健性，并将问题公式化为带有 Wasserstein 模糊集约束的分布稳健优化问题。本文提出了一种高效的算法，并在标杆数据集上进行了实验，证明了稳健特征的有效性。

    Nov, 2019

  • 肖像风格化：人脸风格化的辅助网络艺术风格转换

    本文提出了一种利用辅助预训练人脸识别模型的嵌入特征来促进图像风格转移算法将内容图像中的人脸特征传播到最终风格化结果，以解决现有方法在整个风格化过程中难以保留人脸的个体特征的问题。

    Sep, 2023

  • 基于风格迁移的图像合成作为深度学习中有效的正则化技术

    本文探讨了深度学习在图像分析和分类方面的弱点，提出利用基于神经风格转换的数据增强方法以提高数据集的泛化能力，并通过应用于皮肤病分类案例验证了其潜力。

    May, 2019