空间变换网络

Jun, 2015

Spatial Transformer Networks

Max Jaderberg, Karen Simonyan, Andrew Zisserman, Koray Kavukcuoglu

TL;DR引入一种新的可学习模块 ——Spatial Transformer，能够在现有的卷积网络结构中显式地允许对数据进行空间操作，从而使得模型得以学习对于平移、缩放、旋转以及基于更一般的扭曲变换的不变性，其模型表现在多个基准测试数据集上达到了最先进的水平。

Abstract

convolutional neural networks define an exceptionally powerful class of models, but are still limited by the lack of ability to be spatially invariant to the input data in a computationally and parameter efficient manner. In this work we introduce a new learnable module, the

convolutional neural networks spatial transformer spatial invariant feature maps invariance

发现论文，激发创造

用于图像分类和搜索的变换不变卷积神经网络

该研究提出了在卷积神经网络的训练阶段中随机转换特征图以增强模型对空间变换的不变性，从而显著提高了 CNN 在图片识别等许多基准任务上的表现。

Nov, 2019

体积变换网络

本文介绍了一种学习型模块（VTN，即体积变形网络），以预测通道级扭曲场，从而在空间和通道层面上重新配置 CNN 特征，改善空间不变性技术在大规模对象识别中的限制。经实验证明，VTN 不断提升模型性能和图像识别和检索的精度。

Jul, 2020

扭曲卷积：对空间变换的高效不变性

使用常量图像变形后接简单卷积的方法可以使该架构等变于广泛的双参数空间变形，此方法在 Google Earth 数据集和 Annotated Facial Landmarks in the Wild 数据集中都呈现出良好的效果。

Sep, 2016

交通流量预测的时空转换网络

本文提出了一种新的空间 - 时间变换网络的范例来改善长期交通预测的准确性，其中使用图神经网络和自注意机制来动态建模交通数据中的有向空间相关性，并利用跨多个时间步骤的长程双向时间依赖性。实验证明，该模型在 Real-world 数据集上预测交通流量方面的性能要好于现有工作。

Jan, 2020

使用卷积神经网络解决大规模空间问题

本文探讨了如何通过使用转移学习和卷积神经网络等技术来提高大规模空间问题的训练效率，提出小信号窗口训练成果可在大信号上应用的理论，并在移动基础设施方面得到了实证支持。

Jun, 2023

3D Morphable Models 作为空间变换网络

本文介绍了一种新的卷积神经网络模型，将 3D 变形模型嵌入网络中，使得该网络可以处理输入数据的 3D 空间变换，并且可以对 3D 姿态的变化和遮挡进行识别和规范化，通过该方法可以对高度不规则的图像进行处理。

Aug, 2017

使用 Transformer 学习动态和分层交通时空特征

本研究提出了 Traffic Transformer 模型，通过多头和掩码多头机制，动态地从数据中抽取时空特征，提高了交通预测性能，比现有技术表现更好。

Apr, 2021

超越静态图像：稳健的多流时空网络

通过多流模型，我们引入一个经过视频训练的模型，并评估其在各种图像和视频输入下的鲁棒性，特别关注时间特征在不变识别中的作用。结果表明，在训练中包含视频和时间流能够抑制图像和视频理解任务中准确性和平均准确率（mAP）下降分别约 1.36％和 3.14％。

Nov, 2023

倾斜你的头：激活分类器的隐藏空间不变性

通过反转变换树进行推理的逆变换搜索算法（ITS）能够使深度神经网络具备对空间变换输入的零样本伪不变性，并在所有零样本测试场景上优于基准模型。

May, 2024

循环空间变换网络

本文研究了如何将最近提出的空间变换网络（SPN）[Jaderberg et. al 2015] 集成到递归神经网络（RNN）中，形成一个 RNN-SPN 模型，用于对杂乱的 MNIST 序列中的数字进行分类。我们的模型通过对感兴趣的区域进行自适应降采样，从而取得了 1.5% 的错误率，表现优于使用卷积神经网络或卷积神经网络加上 SPN 层的方法。

Sep, 2015