Apr, 2024

残差连接对自监督抽象特征学习的影响

PDF
TL;DR利用加权因子来衰减残差网络内部的标识快捷方式，大大提高了最先进的自监督掩码自编码（MAE）范式中的语义特征学习。我们在 MAE 的 VIT-B/16 骨干网络中对标识快捷方式进行了修改，将 ImageNet 上的线性探测准确度从 67.3% 提升至 72.3%。这个显著差距表明，残差连接结构在促进梯度传播方面发挥了重要作用，但由于将较浅层次的表示注入到更深层次中，它可能对抽象学习的能力产生副作用。我们通过固定公式逐渐减少标识连接的贡献来解决这个问题，这不会影响网络的可训练性。通过分析我们修改后的残差网络学习到的表示，我们发现低有效特征排名与下游任务性能之间存在相关性。
weighting factoridentity shortcutsresidual networksself-supervised masked autoencodinglinear probing accuracy
发现论文，激发创造
  • 可视化残差网络

    本篇论文通过定性视觉和实证分析，研究残差网络中残差跳转连接的作用，揭示残差跳转连接强制不同层次的卷积层区分特征的实际意义，证明残差网络遵循卷积神经网络慢慢学习局部特征并学习整个物体全局特征的普适性。

    Jan, 2017

  • 残差连接鼓励迭代推断

    研究表明，Residual networks 可以通过迭代改进特征来执行表示学习和迭代细化，但对于这一过程的全面理解仍然是一个研究课题，并且共享残差层会导致表征爆炸和过拟合，需要采用现有的策略来缓解这个问题。

    Oct, 2017

  • 深度残差网络中的身份映射

    通过对深度残差网络的构建块传播表达式的分析，本文提出了一种新的残差单元，使用 identity mappings 作为跳跃连接和添加激活后，可以让前向和反向信号直接从一个块传播到任何其他块，这样可以使训练更容易并提高泛化性能。最终，我们在 CIFAR-10、CIFAR-100 和 ImageNet 数据集上取得了更好的结果。

    Mar, 2016

  • 残差循环网络中的褪色记忆作为归纳偏差

    通过引入弱耦合残差循环神经网络（WCRNNs），本研究调查了残差连接对性能、网络动力学和记忆属性的影响，并展示了特定形式的残差连接如何提高实用表达能力。

    Jul, 2023

  • 通用深度图神经网络：从路径分解的角度重新思考图神经网络中的残差连接以防止过度平滑

    本论文从路径分解的角度研究 GNNs 中残差连接的前向和后向传播行为，发现由残差连接路径的二项式分布递归聚合的中位数长度路径控制输出表示，导致 GNNs 深度加深时的过度平滑。基于这些发现，作者提出了一种带有冷启动自适应残差连接和前馈模块的通用深度 GNNs 框架（UDGNN-DRIVE），并进行了大量实验表明其有效性，可通过简单堆叠标准 GNNs 实现非平滑异构数据集上的最新结果。

    May, 2022

  • 纠缠残余映射

    本文提出了纠缠残差映射来推广残差连接的结构，并评估它们在迭代学习表示方面的作用。研究表明，在 CNN 和 Vision Transformer 中，纠缠稀疏映射可以帮助泛化，而正交映射会损害性能。在循环网络方面，正交残差映射形成了一种对时间变化序列的归纳偏差，这会降低处理时间不变的任务的准确性。

    Jun, 2022

  • Inception-v4，Inception-ResNet 和残差连接对学习的影响

    本研究发现在 Inception 网络中加入残差连接有助于加速训练并提高图像识别性能，同时还提出了几种优化的网络结构，实验结果在 ILSVRC 2012 分类任务中取得了显著的性能提升。

    Feb, 2016

  • 自监督表示学习的自动快捷方式移除

    自我监督视觉表示学习中，通过预训练任务训练特征提取器，提出了使用 lens 网络来减少对抗攻击漏洞，通过对图片进行微小修改，最大限度地减少了自我监督学习中的 “捷径” 特征的影响。

    Feb, 2020

  • 深度残差网络中学习严格身份映射

    本文提出一种名为 epsilon-ResNet 的深度学习网络，通过单次训练中的层选取达到在图像识别等多个领域中达到与超深残差网络相当甚至更好的性能，同时减少了 80% 左右的参数数量。

    Apr, 2018

  • ResNet 解密

    ResNet 是一种残差网络，利用快捷连接显著减少了训练的难度，同时在训练和泛化误差方面都实现了很好的性能提升，我们提供了快捷连接 2 的独特理论解释，它可以使训练非常深的模型与浅的模型一样容易，同时我们的实验证明了通过使用快捷连接 2 进行小权重初始化，可以从不同的角度（最终损失、学习动态和稳定性，以及沿着学习过程的海森矩阵的行为）实现显着更好的结果。

    Nov, 2016