CVPRMar, 2022

CNN Filter DB: 训练卷积过滤器的实证研究

PDF
TL;DR本文研究的是卷积神经网络的权重分布偏移对于预训练模型的稳健性的影响，提出了一个包含超过 14 亿卷积滤波器的数据集，并通过分析数据集展示了现有预训练模型的一些局限性。
convolutional neural networksdistribution shiftsfilter kernelspre-trained modelsfine-tuning
发现论文，激发创造
  • 训练卷积滤波器中模型之间分布偏移的实证研究

    通过研究已训练模型中学习到的权重的变化，该论文着重研究了主要的 3x3 卷积滤波器的分布特性，在使用不同的数据集、结构和视觉任务时所发现的分布变化以及分布变化缺失的有趣现象，并进一步探讨了数据分布变化对于 CNN 模型泛化能力以及更稳健的迁移学习等相关领域的影响。

    Jan, 2022

  • 卷积神经网络的强健性和可迁移性研究

    对现代深度卷积网络（CNN）未能在分布漂移下推广的问题进行了研究，并探究了预备数据量、模型规模和数据处理流程对迁移性能的影响，发现增加训练集和模型大小显著提高了分布偏移鲁棒性，同时是非常简单的预处理，如修改图像分辨率在某些情况下可以显著缓解鲁棒性问题。最后，我们提出了一个新的综合数据集 SI-Score 进行了系统的分析。

    Jul, 2020

  • 卷积滤波器视角下的对抗性鲁棒性

    在对具备鲁棒性的深度学习模型进行卷积滤波器分析的研究中，发现经过对抗训练的模型形成了多样性更大、稀疏性更小且更正交的卷积滤波器，且具有更高的分类精度，需要更深层网络结构来实现，此方法也被成功地应用于 CIFAR-10 数据集中。

    Apr, 2022

  • 滤波器共享：用于体卷积参数的高效学习

    本文介绍了一种在训练期间利用卷积神经网络（CNNs）中学习到的滤波器的显着冗余的方法，通过找到一组小滤波器和混合系数来推导每个卷积层中的每个滤波器，从而减少训练参数。作者使用 CT 图像进行 3D 肺结节分割，证明了该方法只需要少量训练例子即可获得良好的结果。

    Dec, 2016

  • 用于图像分类和搜索的变换不变卷积神经网络

    该研究提出了在卷积神经网络的训练阶段中随机转换特征图以增强模型对空间变换的不变性，从而显著提高了 CNN 在图片识别等许多基准任务上的表现。

    Nov, 2019

  • 图像分类模型自然分布偏移鲁棒性测量

    本研究评估了 204 个 ImageNet 模型在 213 个不同的测试条件下的表现，发现大多数当前技术无法提供对真实数据中分布变化的健壮性，唯一例外的是在较大且更多样化的数据集上进行训练可以在多种情况下提高健壮性，并且我们的研究表明当前真实数据中的分布变化是一个开放的问题。

    Jul, 2020

  • 卷积神经网络中的平移不变性是什么？一项可视化研究

    通过三个实验比较了百万级图像的表示方法，发现使用流行的 CNN 模型提取的特征并不具有全局不变性，并提供了一个代码库以及一个网站，可以与实验结果互动交流。

    Nov, 2020

  • 利用卷积滤波器模式进行迁移学习

    本文介绍了一种新的正则化技术，旨在通过高斯混合模型捕捉卷积神经网络中的统计关系，并将其转移到另一个网络中，实现特征表示的高效学习和转移。

    Aug, 2017

  • 利用特征去特定风格化识别 Instagram 滤镜照片

    通过对流行的预训练模型在 Instagram 过滤器下的鲁棒性的分析结果，此文研究了简单的保持结构的过滤器对卷积特征空间的影响，并引入了一种轻量级去风格化模块优化卷积神经网络的表现。

    Dec, 2019

  • 正则化的线性卷积网络从图像统计中继承频率敏感性

    通过理论和实验，我们证明了卷积神经网络对低频信号的敏感性是自然图像的频率分布的结果，该分布已知在低到中频率范围内具有大部分功率。我们的理论分析依赖于卷积神经网络层在频率空间的表示，这个想法以前已经被用来加速计算和研究网络训练算法的隐含偏差，但据我们所知，还没有应用于模型的稳健性领域。

    Oct, 2022