深度学习中的卷积算术指南

Mar, 2016

A guide to convolution arithmetic for deep learning

Vincent Dumoulin, Francesco Visin

TL;DR本文介绍了一份指南，帮助深度学习从业者理解并操作卷积神经网络架构，阐明了卷积、池化和转置卷积层之间的各种属性（输入形状、核形状、零填充、步幅、输出形状）之间的关系，以及卷积和转置卷积层之间的关系，并为各种情况推导了这些关系，并进行了阐述，以使它们易于理解。

Abstract

We introduce a guide to help deep learning practitioners understand and manipulate convolutional neural network architectures. The guide clarifies the relationship between various properties (input shape, kernel

deep learning convolutional neural network architecture pooling transposed convolutional layers

发现论文，激发创造

理解深度卷积网络

这篇文章综述了深度卷积神经网络的架构，介绍了一种数学框架来分析它们的属性，以及讨论了它们的应用。

Jan, 2016

基于 SIMD 架构的高性能深度学习卷积解剖学

本文介绍了针对 x86 体系结构的直接卷积核和动态编译方法实现的 JIT 优化内核，该内核可在多节点下高效执行最新的图像识别任务，使单机和多节点运行时高效地通过 CPU 执行任务的高吞吐量。

Aug, 2018

卷积神经网络通过池化几何的归纳偏置

本文研究卷积网络对其输入区域之间相关性的建模能力，并通过理论分析和实证验证，证明深度网络的池化几何形状是控制感性偏差的一种手段，使其在输入不同类型的数据时可以适应不同的偏差方向。

May, 2016

张量网络视角下的卷积

本研究通过张量网络对卷积进行了全新的视角探讨，通过图表述来研究其基础性质，证明了该方法的表达能力，并通过实验证明了其对于多种卷积操作的适用性和有效性。

Jul, 2023

卷积神经网络中卷积算子的泛化

本文提出两类代理函数，用于卷积算子内积运算的通用化，第一种是正定核函数，第二种是基于距离函数定义的相似性测量。通过在 MNIST 数据集上的实验表明，基于加权 L1/L2 距离的广义 CNN 可以实现普通 CNN 的性能，证明了卷积神经网络通用化的可行性。

Jul, 2017

线性解释引导下的卷积网络导览

通过研究 LinearScope 中的线性译者，许多好奇的问题得以回答，例如分类使用的一像素一票策略、CNN 使用与人类视觉系统类似的小波基、I2I 中的复制 - 移动和模板创建策略等。

Aug, 2019

卷积和池化在核方法中的学习

本研究探讨了一层卷积、汇集和降采样操作组成的核的 RKHS，并用它来计算高维函数的一般化误差尖锐的渐近值。结果表明，卷积和池化操作在一层卷积核中如何在逼近和泛化能力之间权衡。

Nov, 2021

关系卷积网络：一种学习层次关系表示的框架

深度学习中一个日益成熟的研究领域是开发能够学习关系特征的显式表示的架构。本文提出了一个叫做 “关系卷积网络” 的架构框架，重点研究了学习分层关系表示的问题，并通过一系列实验展示了如何利用关系卷积网络提供有效的建模方法来处理具有层次结构的关系任务。

Oct, 2023

基于内核视角的深度卷积模型近似和学习

本研究通过核方法的角度对卷积核网络进行了研究，发现其 RKHS 由补丁之间的交互项的加性模型组成，其范数通过汇聚层促进这些项之间的空间相似性，并提供了泛化界，以说明池化和补丁如何提高样本复杂度保证。

Feb, 2021

卷积神经网络中稀疏性的力量

通过实验证明了通过在卷积层之间停用连接的方法将采用通道稀疏连接结构的 2D 卷积技术与许多网络体系结构一起使用，可以在保持准确性的同时实现明显的运行时间和内存储存器的节省。

Feb, 2017