ECCVJul, 2022

ScaleNet: 寻找可扩展模型

PDF
TL;DR本文提出了 ScaleNet 模型，结合了基模型和缩放策略的搜索，利用马尔科夫链进化算法互动学习基模型的缩放策略来发展具有更加优异性能的大型模型，实验结果表明我们的放大网络在各种 FLOPs 上具有显着的性能优势，但搜索成本至少降低了 2.53 倍。
model scalingscalable model familynasmarkov chain-based evolution algorithmflops
发现论文，激发创造
  • ScaleNet：一种有限信息的无监督表示学习方法

    本研究提出了一种名为 ScaleNet 的简单高效的无监督表示学习方法，通过使用多尺度图像来增强有限信息条件下卷积神经网络 (ConvNets) 的性能，并展示了 ScaleNet 方法在旋转预测任务上的优越性及其对其他模型的分类任务的改进能力。

    Oct, 2023

  • BigNAS：利用大型单级模型扩展神经架构搜索

    本文提出一种新方法 BigNAS，使用单个共享权重集合无需进行额外的训练或后处理步骤，就可以用于神经结构搜索，该方法的预测准确率优于现有方法。

    Mar, 2020

  • 重新审视 ResNets：改进的训练和扩展策略

    本文重新研究了经典的 ResNet 模型，并重点讨论了模型架构、训练方法和扩展策略对模型性能的影响。作者发现，训练方法和扩展策略可能比模型架构的变化更重要，同时作者提出了两种新的扩展策略，并设计了一系列 ResNet 架构。实验结果表明，这些简单修改的 ResNet 模型比 EfficientNet 更快，且在 ImageNet 上达到了类似的准确性，同时在半监督学习和下游任务转移学习上也有显著提升。

    Mar, 2021

  • 超越均匀缩放：探索神经结构中的深度异质性

    基于第二阶损失景观信息的自动缩放方法，以灵活适应视觉变换器中的跳跃连接；在 DeiT-S 与 ImageNet100 上广泛评估，相较于传统缩放，准确率提高 2.5%，参数效率提高 10%；缩放网络在从头训练小规模数据集时表现出卓越性能，是视觉变换器的首个完整缩放机制，实现高效模型缩放的一步。

    Feb, 2024

  • 神经元的高效缩放：资源受限深度神经网络

    本文提出了一种名为 NeuralScale 的算法，该算法使用了迭代剪枝方法控制神经网络的大小和参数，进而优化了固定神经网络的结构和配置，经过实验得出，NeuralScale 在参数约束的情况下，与默认配置相比，在 CIFAR10、CIFAR100 和 TinyImageNet 的数据集上分别增加了 3.04％，8.56％和 3.41％的准确性，取得了优异的表现。

    Jun, 2020

  • 基于数据驱动的神经元分配用于规模聚合网络

    本文提出了一种数据驱动的神经元分配方法，以自适应地在深度神经网络的不同构建块中汇总多尺度信息。通过使用基于堆栈的采样、卷积和上采样操作生成每个尺度的特征映射，探索神经元分配方法，对计算复杂度进行了大规模的实验测试，并成功地应用于图像分类和目标检测任务，在与 ResNet 和其变体的对比中， ScaleNet 能够获得更好的性能。

    Apr, 2019

  • SCARLET-NAS: 在权值共享神经架构搜索中实现稳定性和可伸缩性的平衡

    本文研究如何通过引入等变可学习的稳定器来解决跳跃连接引起的特征不一致性问题，从而提高神经架构搜索的效率和准确性，最终设计出了一系列表现优异的神经网络结构。

    Aug, 2019

  • ScaleNet：超市及其他场景中的目标提议生成指导

    为产物察觉问题而深入研究超市图像和其他自然图像中目标提议生成。为了更好地生成目标提议，本文提出了一种名为 ScaleNet 的方法来估算图像中目标的比例，并体现了其有效性。

    Apr, 2017

  • 自动超级网络生成实现 NAS

    本文描述了 BootstrapNAS，这是一个用于自动生成 NAS 超网络的软件框架，它基于预先训练的模型创建超网络，然后使用先进的 NAS 技术来训练超网络，生成有效的子网络，为资源受限的边缘设备提供高效解决方案。

    Dec, 2021

  • 可扩展图像识别的可传递架构学习

    本文提出了一种在小数据集上搜索神经网络模型结构并将其转移至大数据集的方法，称为 NASNet，通过设计新的搜索空间并使用调度 DropPath 技术提高了模型在 ImageNet 等数据集上的分类正确率。

    Jul, 2017