简单为上，简单架构超越深度和复杂架构

Aug, 2016

简单为上，简单架构超越深度和复杂架构

Lets keep it simple, Using simple architectures to outperform deeper and more complex architectures

Seyyed Hossein Hasanpour, Mohammad Rouhani, Mohsen Fayyaz, Mohammad Sabokrou

TL;DR提出了一种简单的卷积神经网络架构 (SimpleNet)，在保持计算和内存效率的同时，具有与更复杂的 CNN 相媲美的性能，在多个基准测试中表现出色，包括 CIFAR-10，MNIST，CIFAR-100 和 SVHN，甚至在 ImageNet 数据集中也优于许多更大更深的 CNN 模型。

Abstract

Major winning convolutional neural networks (CNNs), such as AlexNet, VGGNet, ResNet, GoogleNet, include tens to hundreds of millions of parameters, which impose considerable computation and memory overhead. This limits their practical use for training, optimization and memory efficienc

convolutional neural networks light-weight architectures simplenet computation/memory efficiency state-of-the-art result

发现论文，激发创造

SqueezeNet: 50 倍减少参数和 < 0.5MB 模型大小，达到 AlexNet 级别的准确性

该研究提出了一种名为 SqueezeNet 的小型深度神经网络结构，采用模型压缩技术，其参数数量不到 AlexNet 的 50 倍，在 ImageNet 数据集上实现了与 AlexNet 相当的精度，压缩后小于 0.5MB。

Feb, 2016

卷积神经网络结构分析与优化

本文提供了对现有技术的卷积神经网络分析和拓扑构建的全面概述，并描述和评估了一些层次分类器。此外，本文还开发了一种可视化分类错误的新方法，并在 CIFAR-100 上量化了一些结果，如在精度方面较小批量大小、平均集成、数据增强和测试时间转换等的积极影响。本文还开发了一个模型，它只有 100 万个学习参数，适用于 32x32x3 和 100 类输入，并在基准数据集 Asirra、GTSRB、HASYv2 和 STL-10 上击败了现有技术。

Jul, 2017

深入卷积

该研究论文提出了一种深度卷积神经网络架构 ——Inception，该架构在 ImageNet 图像识别竞赛中取得了新的研究成果，提高了网络的深度和宽度，同时保持计算资源的稳定利用，并基于 Hebbian 原理和多尺度处理原则进行建构。具体表现为 GoogLeNet 网络，在分类和检测领域取得了不错的成绩。

Sep, 2014

Wider or Deeper: 重新审视 ResNet 模型在视觉识别中的应用

本文探讨增加深度对神经网络性能提升的边际效益递减问题，提出一种更高效的残差网络结构并在图像分类和语义分割等领域实现了显著优越性能。

Nov, 2016

卷积神经网络的效率研究

通过优化卷积神经网络架构和使用融合块核心技术，实现了计算效率和准确性的提升。

Apr, 2024

卷积残差记忆网络

通过在卷积残差网络中引入长短时记忆机制，增强了记忆机制加强卷积神经网络的性能，使得该方法在 CIFAR-100 基准测试上优于其他最先进的技术，并且在 CIFAR-10 和 SVHN 基准测试上与之相当，而且相比于深度相当的深度残差神经网络，网络宽度更大，深度更小，总体计算量更少。

Jun, 2016

贪心逐层学习能够横跨 ImageNet

采用一层隐含层的浅层有监督神经网络，依次构建层级式深度网络，使用一些简单的架构和训练技巧，能够在 ImageNet 数据集上表现优于 AlexNet，并且建立 2 或 3 个隐含层的辅助问题，可构建超过 VGG 模型家族的 11 层网络，且训练精度能够达到端到端学习的水平。

Dec, 2018

简单高效的卷积神经网络架构搜索

该研究提出了一种自动设计合适的卷积神经网络结构的方法，使用了能产生网络变形的 “山峰爬升法” 和余弦退火法，并取得了较为优异的结果。

Nov, 2017

限定时间成本下的卷积神经网络

本文研究在时间约束成本下，卷积神经网络的准确性和架构设计所需的权衡。通过一系列对比实验，得出一个在 ImageNet 数据集中准确率很高（11.8% 的 top-5 误差，10 视图测试），但比 AlexNet（16.0% 的 top-5 误差，10 视图测试）快 20% 的网络架构。

Dec, 2014

再次让深度网络变得浅显

通过研究深度神经网络中的残差连接，提出了一种平行浅层架构的替代方案，通过在 Taylor 级数表达式中截断高阶项，发现广而浅的网络架构在性能上与传统的深层架构相当，这一发现有望简化网络架构、提高优化效率并加速训练过程。

Sep, 2023