通过进行深度聚合来更好地融合图像识别中层间的信息,并对网络体系结构的各个方面进行了实验研究,发现深度聚合可以提高识别效果并减少网络参数。
Jul, 2017
通过实验证明了通过在卷积层之间停用连接的方法将采用通道稀疏连接结构的 2D 卷积技术与许多网络体系结构一起使用,可以在保持准确性的同时实现明显的运行时间和内存储存器的节省。
Feb, 2017
本文提出了一种新的深度卷积神经网络结构,即使用聚合特征的 Shortcut 连接来改善网络优化难度,并取代传统的卷积神经网络结构,经过在公共基准数据集上的实验,发现其性能超过其他更大而复杂的卷积神经网络结构。
Nov, 2018
这份研究分析了 ResNet 的跳跃连接的效应,并提出了新理论结果,证明残差块中的跳跃连接方便保留梯度的范数,并导致稳定的反向传播,这是从优化的角度来看是可取的。研究还提出了一种新方法,Procrustes ResNets,来优化 ResNet 的过渡层,使其范数保持得更好。这些结果可以用来训练更深的网络,并启发新的深层网络架构。
May, 2018
本文介绍了一种名为 “Recombinator Networks” 的模型,该模型可以在不影响鲁棒性的前提下,通过信息重组的方式实现对精确定位的支持,相较于传统的基于求和和拼接的方法,其精度有显著提升,并将误差降低了 30%。同时作者还提出了基于卷积神经网络的去噪预测模型,进一步提升了该模型的性能。
Nov, 2015
通过使用 SkipNet,结合特定输入实现卷积层跳过的目的。我们提出了一个混合学习算法,以解决非可微分跳过决策的问题,并在四个基准数据集上展示了 SkipNet 可以在保留准确性的基础上减少计算量 30-90%。此外,我们定性评估了门控策略,揭示了图像大小和显著性以及跳过层数之间的关系。
Nov, 2017
本篇论文通过定性视觉和实证分析,研究残差网络中残差跳转连接的作用,揭示残差跳转连接强制不同层次的卷积层区分特征的实际意义,证明残差网络遵循卷积神经网络慢慢学习局部特征并学习整个物体全局特征的普适性。
Jan, 2017
该研究提出 Dense Convolutional Network (DenseNet) 模型,使用每一层之前的所有特征图作为输入,解决了梯度消失的问题,促进了特征重用,并在目标识别领域的四个竞争性基准上显着提高了性能效率。
Jan, 2020
本文提出一种新的用于量化信息在深度神经网络中流动效率的指标 NN-Mass。经过实验证明,该指标不仅适用于 DenseNet-like CNNs,还适用于 ResNets / WRNs / MobileNets 等其他类型的跳跃连接,并且可以用于设计具有高度压缩性的 DenseNet 和 MobileNets。
Oct, 2019
该论文介绍了一种称为 DenseNet 的神经网络架构,通过将每一层与其他每一层之间连接起来,可以解决传统卷积神经网络中权重消失和特征重用问题,在目标识别领域中表现优异。
Aug, 2016