超越均匀缩放：探索神经结构中的深度异质性

ICLRFeb, 2024

超越均匀缩放：探索神经结构中的深度异质性

Beyond Uniform Scaling: Exploring Depth Heterogeneity in Neural Architectures

Akash Guna R.T, Arnav Chavan, Deepak Gupta

TL;DR基于第二阶损失景观信息的自动缩放方法，以灵活适应视觉变换器中的跳跃连接；在 DeiT-S 与 ImageNet100 上广泛评估，相较于传统缩放，准确率提高 2.5%，参数效率提高 10%；缩放网络在从头训练小规模数据集时表现出卓越性能，是视觉变换器的首个完整缩放机制，实现高效模型缩放的一步。

Abstract

Conventional scaling of neural networks typically involves designing a base network and growing different dimensions like width, depth, etc. of the same by some predefined →

neural networks scaling loss landscape vision transformers model scaling

发现论文，激发创造

神经元的高效缩放：资源受限深度神经网络

本文提出了一种名为 NeuralScale 的算法，该算法使用了迭代剪枝方法控制神经网络的大小和参数，进而优化了固定神经网络的结构和配置，经过实验得出，NeuralScale 在参数约束的情况下，与默认配置相比，在 CIFAR10、CIFAR100 和 TinyImageNet 的数据集上分别增加了 3.04％，8.56％和 3.41％的准确性，取得了优异的表现。

Jun, 2020

可微分模型缩放的可微分 Topk

基于可微模型缩放的神经架构搜索方法能够提高搜索网络的效率并找到改进的结构，在不同任务和不同网络架构下具有一致的结果并超越了现有的神经架构搜索方法。

May, 2024

快速准确的模型缩放

本文探讨卷积神经网络的扩展策略，指对基础卷积网络进行扩展以赋予其更高的表征能力。作者提出一种快速且简单的复合扩展策略，旨在主要扩展模型的宽度，而稍微扩展其深度和分辨率。实验结果表明，许多扩展策略可以产生类似的精度，但其性能却各异。该研究为在各种计算约束下分析和选择缩放策略提供了框架。

Mar, 2021

有原则的考虑架构的超参数缩放

通过对神经网络架构的深入研究，在初始化和学习率方面提出了新的原则，并验证了其对网络性能的改进，从而为当前架构设计的基准测试提供了新的方法。

Feb, 2024

通过自适应策略加速 Vision Transformer 的训练：导航扩展法则

最近几年，深度学习领域的最新发展主要由大规模模型主导，这些模型在大量数据上进行了预训练。本文在视觉任务和 Vision Transformers 家族中，通过引导缩放规律，设计出了计算优化的自适应模型，并证明其胜过静态模型。