CVPRMar, 2023

DeepMAD：深度卷积神经网络的数学架构设计

PDF
TL;DR该论文介绍了一种基于数学架构设计的深度卷积神经网络（DeepMAD）框架，可优化网络结构参数来设计仅依赖于传统卷积层的高性能 CNN 模型，并在 ImageNet 等多个大规模计算机视觉基准数据集上验证其优越性。
vision transformercnnmathematical architecture designdeepmadimagenet
发现论文，激发创造
  • OneCAD：多模态学习用于所有图像数据集的一个分类器

    本文提出了一种名为 OneCAD 的框架，通过 Multimodal learning 和 Mask-Image-Modeling 技术，用于训练和推理 Transformer 模型，使得模型架构不再与数据集中的类别数相关，并在 MNIST、CIFAR10、CIFAR100 和 COVIDx 等数据集上给出了初步结果。

    May, 2023

  • 通过架构特征推断卷积神经网络的准确性

    本研究提出了一种有利于评估不同卷积神经网络体系结构的系统性语言，该语言能够在训练前进行比较，本研究使用该语言在两个具体的基于计算机视觉的物理问题上，解决了事件顶点查找和强子多重性分类问题，同时提取了优化网络架构中的几个架构属性，使用机器学习模型对其进行了预测。

    Jan, 2020

  • 深度卷积神经网络最近的架构调查

    本文从深度卷积神经网络的内在分类入手，将现有研究成果归纳为七大类，即空间利用、深度、多路径、宽度、特征图利用、通道增强和注意力，同时介绍 CNN 组件的基础理解、当前挑战和应用领域。

    Jan, 2019

  • MoDL: 逆问题的基于模型的深度学习架构

    该研究提出了一种基于卷积神经网络的模型重建框架，实现了解决逆问题的途径。该框架克服了深度学习方法中过多参数所占用的训练数据和时间上的需求问题，并在重构图像方面取得了显著成果。

    Dec, 2017

  • 一种基于掩码的对抗性防御方案

    本文介绍了一种新的基于掩码的防御策略（MAD），使用此方法可提高深度神经网络模型对低强度的输入扰动的防御能力，相比现有的防御技术该方法不需要任何附加去噪结构或对模型设计的改变，并且实验证明该方法可以对多种对抗性攻击的深度神经网络模型的防御能力提高 20% 至 90% 的分类精度。

    Apr, 2022

  • DrMAD：使用反向模式自动微分优化深度神经网络超参数的蒸馏

    DrMAD 是一种通过优化同时保证模型效果的简单高效的方法，可以在超参数优化中通过近似反转训练轨迹最大化地利用前向传递的知识，是第一个实现自动调整深度神经网络数千个超参数的研究尝试。

    Jan, 2016

  • 卷积神经网络结构分析与优化

    本文提供了对现有技术的卷积神经网络分析和拓扑构建的全面概述，并描述和评估了一些层次分类器。此外，本文还开发了一种可视化分类错误的新方法，并在 CIFAR-100 上量化了一些结果，如在精度方面较小批量大小、平均集成、数据增强和测试时间转换等的积极影响。本文还开发了一个模型，它只有 100 万个学习参数，适用于 32x32x3 和 100 类输入，并在基准数据集 Asirra、GTSRB、HASYv2 和 STL-10 上击败了现有技术。

    Jul, 2017

  • 深度卷积神经网络分析的改进

    本论文提出了一种基于可视化分析的方法，以更好地理解、诊断和改进深度卷积神经网络，并使用一些新的算法和技术来显示神经元和神经元群之间的多个方面和交互作用。

    Apr, 2016

  • 网络结构之战：CNN、Transformer 和 MLP 的实证研究

    本文比较了卷积神经网络、Transformer、multi-layer perceptron 等算法的优劣，并在 SPACH 框架下进行了实验，结果显示，使用卷积和 Transformer 模块的混合模型已经能够实现与其他模型相同的准确率。

    Aug, 2021

  • 计算机视觉深度卷积神经网络分类

    该研究论文探讨了计算机视觉问题中使用深度学习技术的发展趋势，着重介绍了卷积神经网络（CNNs）及其应用，帮助初学者了解何种深度网络适用于计算机视觉问题。

    Jan, 2016