Jul, 2023

尽快解决降采样问题！通过混频和免受频谱伪影的池化提高鲁棒性

PDF
TL;DR通过信号处理的视角分析了当前降采样方法在频域中易受频谱泄漏伪像的问题，并提出了一种无混叠和频谱伪像的降采样方法 ASAP，该方法在保持相似的准确性甚至优于基准方法的同时，提高了对常见破坏和对高低分辨率数据的对抗攻击的本地鲁棒性。
convolutional neural networksflc poolingrobustnessspectral leakage artifactsadversarial attacks
发现论文，激发创造
  • 频率低切池化 —— 插入即用以抵御灾难性过拟合

    本文介绍了一种去除伪影的下采样操作 ——FrequencyLowCut pooling，并通过结合 FGSM 的对抗训练在模型鲁棒性和过拟合方面取得了显著改善。

    Apr, 2022

  • 残差网络的有效抗锯齿方法

    通过在关键位置上放置不可训练的模糊滤波器和使用平稳激活函数来缓解频率混叠现象，这些简单的架构更改在图像分类和识别上产生了显著的提高，并且没有引入额外的可训练参数。

    Nov, 2020

  • 探究卷积神经网络中抗锯齿的更深层次

    通过提供一个自适应、内容感知的低通滤波层，该文章提出了一种解决深度学习中降采样导致失真的问题的有效方法，并在多项任务中展示其效果，从而避免失真，同时保留用于识别的有用信息。

    Aug, 2020

  • ASAP: 自适应结构感知池化学习层次图表示

    本篇研究提出 ASAP 池化方法，利用自注意力网络和改进后的图神经网络对节点的重要性进行建模，通过对多个数据集的实验和理论分析，证明了 ASAP 方法在图分类任务上的优足够表现，相比现有的稀疏分层方法平均提高了４％。

    Nov, 2019

  • 使卷积网络再次具有平移不变性

    本篇研究提出，在现代卷积网络中添加抗锯齿模块能较好地提高模型的精度，使其具有更好的普适性和鲁棒性。

    Apr, 2019

  • 微小目标检测中抗锯齿的重要性

    应用 WaveCNet 实现抗混叠的小物体检测，通过在 CNN 中使用 WaveletPooling 层来替换下采样过程以抑制混叠，并通过改进骨干网络进一步提高检测性能和减少参数数量，实验结果表明该方法在三个数据集上取得了新的最优结果。

    Oct, 2023

  • 深度卷积网络中混淆对泛化的影响

    本文研究了深度卷积网络中混叠对泛化性能的影响，并表明数据增强方案由于所使用的结构存在结构性限制而无法防止其影响。通过从频率分析理论中获得了启发，我们对 ResNet 和 EfficientNet 架构进行了更深入的研究，评估了它们各自主要组成部分中混叠和信息丢失之间的权衡。我们展示了如何通过在关键位置插入非可训练低通滤波器来减轻混叠，特别是在网络缺乏学习它们的能力的地方。这些简单的架构改变在 i.i.d. 和分布之外条件下显着提高了泛化性能，例如在 ImageNet-C [11] 上的自然破坏的图像分类和 Meta-Dataset [26] 上的小样本学习。在不引入额外的可训练参数和使用开源代码库的默认超参数的情况下，两个数据集都取得了最先进的结果。

    Aug, 2021

  • 真正平移不变卷积神经网络

    本文提出了自适应多相采样（APS）的简单子采样方案，使卷积神经网络实现了 100% 的 “移位一致” 的分类性能，而且拥有训练前的完美 “移位一致性”，这是使卷积神经网络真正具有 “移位不变性” 的第一实践方法。

    Nov, 2020

  • S3Pool: 随机空间采样池化

    本研究提出了一种具有随机空间采样的池化策略（S3Pool），其在多个流行的图像分类基准测试中表现出显著的改进。

    Nov, 2016

  • 使用 SoftPool 优化激活下采样

    提出了一种快速有效的方法，在卷积神经网络中通过指数加权降采样操作以更好地保留信息，从而提高分类准确率和动作识别性能。

    Jan, 2021