CVPRMar, 2020

卷积神经网络中的平移不变性：卷积层可以利用绝对空间位置

PDF
TL;DR本文挑战了现代 CNN 中卷积层具有平移不变性的普遍假设，并展示了 CNN 可以和将利用绝对空间位置来学习仅响应于特定绝对位置的滤波器，进而利用图像边界效应来达到效果。我们提供了一个简单的解决方案来消除空间位置编码，从而提高平移不变性，因此在小数据集方面提供更强的视觉归纳偏差。我们在几种体系结构和各种应用程序（例如图像分类、补丁匹配和两个视频分类数据集）中广泛展示了这些好处。
convolutional layerscnnsspatial locationtranslation invariancevisual inductive bias
发现论文，激发创造
  • 卷积神经网络中的平移不变量量化

    研究卷积神经网络中实现图像识别中的平移不变性的因素，并发现训练数据增量是获得平移不变表示的最重要因素。

    Dec, 2017

  • 用于图像分类和搜索的变换不变卷积神经网络

    该研究提出了在卷积神经网络的训练阶段中随机转换特征图以增强模型对空间变换的不变性，从而显著提高了 CNN 在图片识别等许多基准任务上的表现。

    Nov, 2019

  • 扭曲卷积：对空间变换的高效不变性

    使用常量图像变形后接简单卷积的方法可以使该架构等变于广泛的双参数空间变形，此方法在 Google Earth 数据集和 Annotated Facial Landmarks in the Wild 数据集中都呈现出良好的效果。

    Sep, 2016

  • 卷积神经网络编码多少位置信息？

    本文通过一系列实验发现卷积神经网络在学习卷积核的时候竟然能够隐式地编码图片中绝对位置的信息。

    Jan, 2020

  • 翻译不敏感 CNN

    使用高斯厄米基函数在 CNN 框架内高效逼近任意滤波器的方法，可以达到平移不变性，保持训练效率，同时实现子取样以保证平移不敏感性，为设计指导提供指导原则。

    Nov, 2019

  • 当前卷积架构处理噪声位置和尺度变异能力的实证评估

    本文通过使用卷积神经网络，对数据的位置、大小和宽高比等干扰因素的影响进行了实证研究，发现在当前卷积神经网络的复杂度和数据集规模的条件下，卷积神经网络对于边缘干扰变化的能力十分有限，同时还提出了改进的采样技术。作者在 ImageNet Challenge 基准分类任务和 Oxford 与 Fischer 的数据集的广泛基线匹配任务上测试了他们的假设。

    May, 2015

  • 空间变换网络

    引入一种新的可学习模块 ——Spatial Transformer，能够在现有的卷积网络结构中显式地允许对数据进行空间操作，从而使得模型得以学习对于平移、缩放、旋转以及基于更一般的扭曲变换的不变性，其模型表现在多个基准测试数据集上达到了最先进的水平。

    Jun, 2015

  • 利用等变神经网络进行翻译恢复

    本文提出了一种预分类器恢复器，以恢复被平移（甚至旋转）后的输入到原始输入，该恢复器基于用于张量空间上的平移等变的充分必要条件。

    Jun, 2023

  • 为什么深度卷积神经网络对小图像变换的泛化性表现很差？

    本文研究了卷积神经网络在面对微小图像变换时不具有不变性及其成因。作者提出传统的卷积架构不满足传统采样定理及数据增强只适用于与训练集中典型图像相似的图像，且两种解决方案只能部分解决问题。因此，在网络保持高准确率的情况下保证不变性的问题仍未解决。

    May, 2018

  • 使用卷积神经网络解决大规模空间问题

    本文探讨了如何通过使用转移学习和卷积神经网络等技术来提高大规模空间问题的训练效率，提出小信号窗口训练成果可在大信号上应用的理论，并在移动基础设施方面得到了实证支持。

    Jun, 2023