Apr, 2024

使用平移不变多相采样提升卷积神经网络的平移不变性

PDF
TL;DR基于大规模相关性分析框架，通过研究现有的下采样算子，我们发现最大采样偏差与转移不变性呈负相关。基于这一关键洞察，我们提出了一种可学习的池化算子，称为平移不变的多相采样 (TIPS)，并对 TIPS 的中间特征映射进行了两种正则化以减小最大采样偏差，从而学习到转移不变的表示。我们的实验证明，与之前的方法相比，TIPS 在多个图像分类和语义分割基准测试中都取得了持续的性能提升，并且在对抗性和分布鲁棒性方面也有所改进。TIPS 相较于之前的方法具有最低的最大采样偏差，从而解释了我们的强实证结果。
downsampling operatorsshift invariancelearnable pooling operatortranslation invariant polyphase samplingrobustness
发现论文，激发创造
  • 真正平移不变卷积神经网络

    本文提出了自适应多相采样（APS）的简单子采样方案，使卷积神经网络实现了 100% 的 “移位一致” 的分类性能，而且拥有训练前的完美 “移位一致性”，这是使卷积神经网络真正具有 “移位不变性” 的第一实践方法。

    Nov, 2020

  • 可学习多相采样的平移不变和等变卷积网络

    本文提出了可学习的多相采样（LPS），它是一对可学习的下 / 上采样层，使得卷积网络能够真正具有平移不变性和等变性，可以替换任何卷积网络的下 / 上采样层，本文在图像分类和语义分割方面对 LPS 进行了评估，实验表明，LPS 在性能和平移一致性方面与现有方法相当或优于现有方法。本文首次在语义分割（PASCAL VOC）中实现了真正的平移等变性，即 100％的平移一致性，优于基线 3.3％。

    Oct, 2022

  • 翻译不敏感 CNN

    使用高斯厄米基函数在 CNN 框架内高效逼近任意滤波器的方法，可以达到平移不变性，保持训练效率，同时实现子取样以保证平移不敏感性，为设计指导提供指导原则。

    Nov, 2019

  • 使卷积网络再次具有平移不变性

    本篇研究提出，在现代卷积网络中添加抗锯齿模块能较好地提高模型的精度，使其具有更好的普适性和鲁棒性。

    Apr, 2019

  • TI-POOLING：卷积神经网络中用于特征学习的变换不变池化

    本文介绍了一种深度神经网络拓扑结构，该结构包含一种容易实现的 TI-POOLING 变换不变池化算子，能够有效地处理数据中的先验干扰因素，如旋转或比例变化，通过采用并行的 siamese 结构提取转换不变的特征，再在全连接层之前应用 TI-POOLING 算子，能够更高效地利用训练数据，相比于普通卷积神经网络进行数据集扩充的方法以及其他基线模型，能够在流行的基准数据集上具有更好的性能。

    Apr, 2016

  • 工业缺陷分割中卷积神经网络的位移等效性研究

    在工业缺陷分割任务中，常用的度量指标是像素精度和交并比 (IoU)，然而模型的输出一致性 (或等效性) 经常被忽视。本文提出了一种全新的上 / 下采样层对抗 CNN 中传统采样层的不足，并通过自适应窗口模块和组件注意力模块来改善图像边界变化对等效性的影响，实验结果表明该方法在工业缺陷数据集上具有较高的等效性和分割性能。

    Sep, 2023

  • 卷积神经网络中最大池化特征图的平移不变性

    本文旨在提高卷积神经网络对于图像分类的数学解释性，通过利用离散 Gabor - 类卷积的属性证明特征图在满足某些特定条件下可以逼近复杂 Gabor - 类系数的模，从而具有一定的稳定性，本文通过实验验证了这一理论并与双树小波分组变换一类的离散 Gabor - 类分解进行了比较。

    Sep, 2022

  • 用于图像分类和搜索的变换不变卷积神经网络

    该研究提出了在卷积神经网络的训练阶段中随机转换特征图以增强模型对空间变换的不变性，从而显著提高了 CNN 在图片识别等许多基准任务上的表现。

    Nov, 2019

  • DeepShift：面向无乘法神经网络

    提出使用卷积位移和完全连接位移加速模型部署到边缘计算平台。在使用 DeepShift 模型转换和训练的预先训练的 ResNet18，ResNet50，VGG16 和 GoogleNet 模型中，可以获得接近甚至更高的准确率，并且 GPU 内核可以减少 25% 的延迟时间，具有较好的应用前景。

    May, 2019

  • 无别名卷积网络：通过多项式激活实现分数移不变性

    本文提出一种扩展的反锯齿方法，旨在解决由下采样层和非线性层引起的失真问题，从而创造真正无失真的平移不变的 CNN，并且在整数和分数（即次像素）平移方面具有不变性，因此在对抗平移的鲁棒性方面优于其他平移不变方法。

    Mar, 2023