为有效学习深度卷积神经网络而设计的中继反向传播算法

Dec, 2015

为有效学习深度卷积神经网络而设计的中继反向传播算法

Relay Backpropagation for Effective Learning of Deep Convolutional Neural Networks

Li Shen, Zhouchen Lin, Qingming Huang

TL;DR本文从信息理论的角度考虑深度卷积神经网络的学习，提出了一种新的方法 Relay Backpropagation，在训练阶段鼓励网络中有效信息的传播，取得了 ILSVRC 2015 场景分类挑战赛的第一名。在两个具有挑战性的大规模数据集上的广泛实验表明，我们的方法的有效性不限于特定的数据集或网络架构。

Abstract

Learning deeper convolutional neural networks becomes a tendency in recent years. However, many empirical evidences suggest that performance improvement cannot be gained by simply stacking more layers. In this paper, we consider the issue from an information theoretical perspective, an

convolutional neural networks information theory relay backpropagation ilsvrc 2015 scene classification

发现论文，激发创造

VisualBackProp: 有效可视化卷积神经网络

该研究提出了一种名为 VisualBackProp 的新方法，用于实时可视化基于卷积神经网络（CNN）的系统中哪些输入像素集对预测结果产生最大影响，通过探索特征映射中趋于不重要的信息，该方法可以计算速度快于传统的正向传递方法，并可作为一种有价值的调试工具进行训练与推断。

Nov, 2016

卷积神经网络的最小化误差反向传播

该研究提出了一种有效的计算方法，通过对全梯度的精简计算以及对梯度进行稀疏选择，来提高卷积神经网络中反向传播的计算效率，实验结果表明只有 5% 的梯度需要上传就可以达到原始 CNN 的效果甚至更好。

Sep, 2017

一种提高神经网络准确性的新方法：恢复传统反向传播技术

本研究提出了一种新的即时参数更新方法，通过消除每层计算梯度的需要来加速学习、避免梯度消失问题，并在基准数据集上优于最先进的方法，为高效有效的深度神经网络训练提供了一个有希望的方向。

Aug, 2023

使用去相关反向传播的高效深度学习

使用去相关反向传播算法可以显著提高大规模深度神经网络的训练效率，并且可以获得更高的测试准确率。

May, 2024

信念传播再进化：学习 BP 层用于标签问题

本文提出一种基于深度学习模型的简化 Belief Propagation 方法 (BP Layer)，并将其作为卷积神经网络 (CNNs) 的中间层或者最终层来解决密集预测问题，如立体，光学流和语义分割等。

Mar, 2020

重新思考学习：通过反馈循环改进卷积神经网络

该研究提出了一种利用反馈机制的学习算法，通过添加反馈层和生成强调向量，不断提升卷积神经网络的性能，特别适用于任何预先训练的模型，并在四个对象分类基准数据集上进行了测试，结果表明利用该算法训练 CNN 模型的优势。

Aug, 2017

使用嵌套 Dropout 学习紧凑的卷积神经网络

研究探讨了 Nested Dropout 在通过反向传播训练的卷积神经网络中的应用，以确定与所需精度和所需任务和数据复杂度相对应的最佳表示大小。

Dec, 2014

一种前向后向方法用于可视化深层网络中的信息流

该研究提出了一种新的系统框架，用于可视化深度网络中的信息流，通过在给定的测试图像中生成与给定解释有关的紧凑支持，该方法具有计算效率和数值稳健性，并提供了几个初步的数值结果，支持我们的框架优于现有方法的好处。

Nov, 2017

卷积神经网络像素分类的高效前向和后向传播

提出了一种使用稀疏核的卷积神经网络算法，用于像素分类任务，避免了传统的图像切片造成的冗余计算，提高了前向和反向传播速度。

Dec, 2014

卷积神经网络的感受野细化可靠地提高了预测性能

本研究提出了一种分析卷积神经网络接受野扩展的新方法，可以在训练之前预测无效图层，并优化给定架构的参数效率，证明该方法不仅可自动化进行，而且在包括 VGGNets、MobileNetV1、MobileNetV3、NASNet A（mobile）、MnasNet、EfficientNet 和 ConvNeXt 等多个常见架构中可以削减参数，在 ImageNet1K 的数据集上，所有上述模型的表现效果都有了新的最好结果。

Nov, 2022