ICLRMay, 2016

FractalNet：不含残差连接的超深度神经网络

PDF
TL;DR本文提出一种基于自相似性的神经网络宏架构设计策略，生成结构准确的被截断的分形的深度网络，并与标准残差网络在 CIFAR 和 ImageNet 分类任务上表现相当好，实验证明残差表示可能不是极深度卷积神经网络成功的基础，而是在训练中能够从有效浅层转变到深层，同时开发的 Drop-path 方法能够规范提取高性能固定深度的子网络。
neural networkself-similarityfractal networkscifarimagenet
发现论文，激发创造
  • 残差网络表现得像相对较浅的网络集合

    本文提出了新颖的残差网络解释方式，将其看作是许多不同长度路径的集合，并且只需要在训练过程中利用短路径就可以实现很深的网络。通过病变研究，揭示了残差网络中路径呈现集合的行为，不是强依赖于彼此。

    May, 2016

  • 递归和深度的惊人相似性

    本文研究了深度神经网络的层次结构特征，发现递归神经网络与前馈网络在提取特征和处理深层次信息方面表现出类似的表现和性能优越，且递归模型能够模拟前馈模型的行为并使用更少的参数来实现图像分类和迷宫问题的求解。

    Feb, 2021

  • 自相似先验：可区分的分形表征神经拼贴

    本研究设计出一种新型隐式算子 Neural Collages，用于自相似性的学习和压缩，并展示了它在分形艺术和深度生成模型中的应用。

    Apr, 2022

  • 均场剩余网络：朝向混沌的边缘

    本研究旨在证明，通过添加跳跃连接，残差网络将采用基于解析方法确定的次指数正向和反向动态，从而有效地保护输入空间几何形态和梯度信息流。我们证明理论和实证，Xavier 或 He 方案等通用初始方案不是残差网络的最佳选择。

    Dec, 2017

  • 深度残差网络中学习严格身份映射

    本文提出一种名为 epsilon-ResNet 的深度学习网络，通过单次训练中的层选取达到在图像识别等多个领域中达到与超深残差网络相当甚至更好的性能，同时减少了 80% 左右的参数数量。

    Apr, 2018

  • 深度卷积神经网络设计模式

    本文介绍了一些基于最近深度学习的集体知识挖掘的神经网络结构设计原则，并提出了 FractalNet、Stagewise Boosting Networks 和 Taylor Series Networks 等创新型架构。

    Nov, 2016

  • 再次让深度网络变得浅显

    通过研究深度神经网络中的残差连接，提出了一种平行浅层架构的替代方案，通过在 Taylor 级数表达式中截断高阶项，发现广而浅的网络架构在性能上与传统的深层架构相当，这一发现有望简化网络架构、提高优化效率并加速训练过程。

    Sep, 2023

  • 深金字塔残差网络

    探索使用逐渐增加特征映射维度的方式，提高深度残差神经网络的泛化能力，并提出了一种新的残差单元，增强了其分类准确性；实验表明，与原始的残差网络相比，该网络结构具有更好的泛化能力。

    Oct, 2016

  • 分形几何的潜力和卷积神经网络对其编码能力的研究

    通过研究分形维度如何随测量尺度变化来提供对象复杂性的统计指标，本研究调查了深度模型学习的特征，以及这些深度网络是否能够编码像分形维度这样复杂和高级的特征。研究表明深度网络无法在任何层次中提取这样的特征，而仅操作分形特征的模型在某些应用中的分类任务中可显着提高准确性，且相对于原始数据训练的深度网络而言，所需计算资源较少。

    Jan, 2024

  • 深度残差网络用于图像识别

    本文提出了一种残差学习框架，以优化超过 VGG 网络 8 倍深度的残差网络在 ImageNet 数据集上的分类任务，以及在 COCO 目标检测数据集上取得了 28% 的相对提升。

    Dec, 2015