深度学习中的身份问题

ICLRNov, 2016

Identity Matters in Deep Learning

Moritz Hardt, Tengyu Ma

TL;DR该研究提出了深度学习中的 identity parameterization 理论，从理论和实验方面探讨了残差网络的优越性，证明了含 ReLU 激活的残差网络在可表示样本函数的有限表达能力方面优于单纯的前馈网络，并提出了不含 batch normalization, dropout 或 max pool 的残差卷积层和 ReLU 激活的新型网络架构，在 CIFAR10，CIFAR100 和 ImageNet 分类基准测试中表现显著提高。

Abstract

An emerging design principle in deep learning is that each layer of a deep artificial neural network should be able to easily express the identity transformation. This idea not only motivated various normalization techniques, such as \emph{batch normalization}, but was also key to the

deep learning neural networks identity transformation residual networks expressivity

发现论文，激发创造

深度残差网络中的身份映射

通过对深度残差网络的构建块传播表达式的分析，本文提出了一种新的残差单元，使用 identity mappings 作为跳跃连接和添加激活后，可以让前向和反向信号直接从一个块传播到任何其他块，这样可以使训练更容易并提高泛化性能。最终，我们在 CIFAR-10、CIFAR-100 和 ImageNet 数据集上取得了更好的结果。

Mar, 2016

深度残差网络中学习严格身份映射

本文提出一种名为 epsilon-ResNet 的深度学习网络，通过单次训练中的层选取达到在图像识别等多个领域中达到与超深残差网络相当甚至更好的性能，同时减少了 80% 左右的参数数量。

Apr, 2018

批量归一化使深度网络中残差块偏向于恒等函数

通过初始化时将剩余分支与跳过连接相比，批归一化可以缩小深度神经网络的剩余分支，从而通过将归一化因子放在网络深度的平方根上，确保在训练早期，深度网络中的标准化剩余块计算的函数接近于恒等函数，这是批归一化可以显着提高残差网络最大可训练深度的关键原因之一，并且已经关键地促成了深度残差网络在广泛的基准测试上的实证成功。同时，我们还提出了一种不需要归一化即可训练深度残差网络的简单初始化方案，并且对残差网络进行了详细的实证研究，阐明了虽然批归一化网络可以使用更高的学习率进行训练，但这种影响只有在特定计算范围内才是有利的，并且在批大小较小时几乎没有任何好处。

Feb, 2020

身份危机：极端过参数化下的记忆和泛化

研究过参数化网络在单个训练样本和恒等映射任务中，记忆与泛化之间的相互作用。通过正式表征单层 FCNs 和 CNNs 中的泛化，我们展示了不同架构的归纳偏见。我们的工作有助于量化和可视化感性偏见对架构选择（如深度，内核宽度和通道数量）的敏感性。

Feb, 2019

身份增强的残差图像去噪

提出了一种全卷积网络模型，它由一系列身份映射模块和残差在残差架构组成，用于图像去噪。网络结构具有三个独特的特点，能够显著提高噪声去除任务的准确性和图像质量。

Apr, 2020

残差神经网络的深层限制

本文研究了残差神经网络模型，并展示了该模型的深层级极限的收敛问题，证明了残差神经网络模型的优化参数在深层级极限的情况下是收敛的。

Oct, 2018

深层残差学习用于弱监督下的关系抽取

本文中，我们设计了一种使用残差学习的卷积神经网络，并研究了其对于嘈杂的远程监督关系抽取任务的影响，结果表明即使在只有 9 层 CNN 的情况下，使用恒等映射也可以显著提高远程监督关系抽取的性能。

Jul, 2017

深度神经网络中数据表示的内在维度

研究了深度神经网络的几何属性和数据表示的内在维度，发现最后一个隐藏层的内在维度预测测试集合的分类准确性，这证明了可以广泛应用的神经网络是将数据转换为低维非线性流形的网络。

May, 2019

深度残差网络用于图像识别

本文提出了一种残差学习框架，以优化超过 VGG 网络 8 倍深度的残差网络在 ImageNet 数据集上的分类任务，以及在 COCO 目标检测数据集上取得了 28% 的相对提升。

Dec, 2015

深度 ReLU 神经网络中的几何引起的隐式正则化

神经网络的隐式正则化现象与参数的几何特征密切相关，优化过程中更倾向于具有低批次功能维度的参数。网络的输入也对批次功能维度产生影响，输入的变化会改变批次功能维度的上限，称为可计算全功能维度，其估计收敛迅速且保持接近参数个数，可以与局部可辨识性相对应。与训练输入和测试输入相关的批次功能维度则由几何诱导的隐式正则化所影响。

Feb, 2024