Jan, 2024

自扩展卷积神经网络

PDF
TL;DR本文介绍了一种动态扩展卷积神经网络的新方法，通过使用自适应扩展评分作为扩展标准，解决了深度卷积神经网络中参数过多的常见问题，从而确保模型的复杂性与任务需求相匹配。该方法的一个显著优势是环保性质，因为它省去了训练多个不同大小模型的必要性。通过单个模型的动态扩展，实现了从单个训练会话中提取具有不同复杂性级别的检查点，有效降低了计算资源使用和能源消耗，同时加快了开发周期，提供了多样化的模型复杂性。在 CIFAR-10 数据集上评估了该方法，实验结果验证了该方法的有效性，表明动态添加层不仅可以维持 CNN 性能，还可以改进其性能，从而解决了深度学习领域的关键挑战。
convolutional neural networksdynamically expandingover-parameterizationeco-friendlyadaptive
发现论文，激发创造
  • 自适应增长：实时卷积神经网络层扩展

    基于数据输入，本研究提出了一种新算法，允许卷积神经网络的卷积层在动态环境下进行演化，并无缝地整合到现有的 DNNs 中。通过引入核函数，迭代性地评估图像特征的识别能力，本方法在多个数据集上展示了优于监督方法的表现，并在迁移学习场景中展示了增强的适应性，填补了深度学习中对于动态环境更灵活高效的 DNNs 的空白。

    Sep, 2023

  • 自扩展神经网络

    我们通过自然梯度的方法，动态地扩展神经网络的宽度和深度，以降低训练过程中的损失。对于不确定合适的网络架构尺寸的问题，我们提出了一种自动收缩神经网络的方法。

    Jul, 2023

  • 动态可扩展网络下的终身学习

    本研究提出了一种名为 DEN (Dynamically Expandable Network) 的深度网络架构，可以在学习一系列任务时动态决定其网络容量，从而学习任务之间的重叠知识共享结构，通过选择性重新训练、动态扩展网络容量和时间戳来有效地防止语义漂移，并在现有公共数据集中验证了 DEN 的有效性。

    Aug, 2017

  • ExpandNets：利用线性过参数化训练紧凑卷积网络

    本文介绍了一种利用过参数化的方法来训练紧凑型神经网络的方法，通过将紧凑型神经网络的线性层扩展成多个连续的线性层，而不添加非线性化，形成扩展网络 ExpandNet，可在推理时代数地缩小回紧凑型神经网络。我们提出了两种卷积扩展策略，并在图像分类、目标检测和语义分割等任务上展示了他们的优势，证明了我们的方法优于从头开始训练紧凑型网络和从教师进行知识蒸馏。此外，我们通过实验证明了过参数化可减少训练时的梯度混淆，提高网络的泛化能力。

    Nov, 2018

  • 尺度不变卷积神经网络

    本文提出了一种尺度不变的卷积神经网络（SiCNN），采用多列结构，每一列专注于特定尺度，用尺度变换共享相同的滤波器参数，以应对尺度变化，实验结果表明 SiCNN 能够检测各种尺度的特征，并且分类结果表现出对物体尺度变化的强大鲁棒性。

    Nov, 2014

  • Tree-CNN: 一种层次化的深度卷积神经网络用于增量学习

    本研究提出一种自适应分层网络结构，由 DCNN 组成，可以随着新数据的出现而不断增长和学习。该模型通过组织渐增的可用数据成特征驱动的超类，实现了分类能力的自我增长，并在 CIFAR-10 和 CIFAR-100 数据集上实现了较优的准确率，从而显著减少了训练时间。

    Feb, 2018

  • 卷积神经网络的感受野细化可靠地提高了预测性能

    本研究提出了一种分析卷积神经网络接受野扩展的新方法，可以在训练之前预测无效图层，并优化给定架构的参数效率，证明该方法不仅可自动化进行，而且在包括 VGGNets、MobileNetV1、MobileNetV3、NASNet A（mobile）、MnasNet、EfficientNet 和 ConvNeXt 等多个常见架构中可以削减参数，在 ImageNet1K 的数据集上，所有上述模型的表现效果都有了新的最好结果。

    Nov, 2022

  • 准确性增强器：使用特征图重新校准提升性能

    通过引入低复杂度的 CNN 架构模块，我们的方法在提高模型表现方面相较于已有方法性能更好，尤其是在 ResNet-50 分类方面，其表现与 ResNet-152 相当，且具有良好的泛化性能。

    Mar, 2019

  • 深度卷积神经网络的增量式训练

    提出了一种增量训练方法，将原始网络分成子网络，并在训练过程中逐步将其合并到运行的网络中。此方法通过引入前瞻初始化，使网络动态生长更平滑，并可用于仅使用全局参数分数的情况下识别原始最先进网络的较小分区，以实现更快的训练。在 CIFAR-10 上报告了 ResNet 和 VGGNet 的训练结果。

    Mar, 2018

  • 低秩扩展加速卷积神经网络

    本文介绍了两种简单的方案，利用交叉通道或过滤器冗余构建低秩滤波器基，从而显著加速卷积层。我们使用应用于实际网络中的这些方法，以不降低精度的速度获得了 2.5 倍和在不到 1％精度下降的情况下获得了 4.5 倍的加速比，仍然在标准基准上实现了最先进的场景文本字符识别。

    May, 2014