ICCVJul, 2021

GLiT: 全局和局部图像 Transformer 的神经网络架构搜索

PDF
TL;DR通过局部模块来提高图像转换器的视觉表示能力，建立搜索空间和搜索算法体系，提出分层神经架构搜索方法并证明其在 ImageNet 数据集上对于图像分类比 ResNet 和 ViT 机型更优。
neural architecture searchtransformer architectureimage recognitionlocality modulehierarchical neural architecture search
发现论文，激发创造
  • 可扩展图像识别的可传递架构学习

    本文提出了一种在小数据集上搜索神经网络模型结构并将其转移至大数据集的方法，称为 NASNet，通过设计新的搜索空间并使用调度 DropPath 技术提高了模型在 ImageNet 等数据集上的分类正确率。

    Jul, 2017

  • 寻找高效的多阶段视觉 Transformer 模型

    利用神经架构搜索（NAS）设计了一个有效的多阶段的 Vision Transformer 架构 ViT-ResNAS，其中融合了两个技术：残差空间缩减和权重共享 NAS，实验证明 ViT-ResNAS 在 ImageNet 数据集上能够取得比原始 DeiT 和其他强基线更好的精度 - MAC 和精度 - 吞吐量权衡。

    Sep, 2021

  • 四个 GPU 小时的 ImageNet 上神经架构搜索：理论启发视角

    利用神经切向核和输入空间中的线性区域数来排名结构，通过 TE-NAS 框架进行训练 - free 的神经体系结构搜索，使用基于剪枝的 NAS 机制进行灵活且优越的权衡，实现在 CIFAR-10 和 ImageNet 上只花费 0.5 和 4 GPU 小时完成的高质量搜索。

    Feb, 2021

  • GeNAS: 具有更好泛化性能的神经架构搜索

    本文探讨了一种新的神经架构搜索度量方式，发现损失曲面的平整度可以预测神经网络架构的泛化能力，通过在不同的搜索空间进行评估，提出的方法相对于现有的 NAS 方法表现更好，并且在数据分布偏移以及目标检测或语义分割等任务中具有稳健的泛化能力。

    May, 2023

  • 用于实时语义分割网络搜索的局部到全局信息通信

    本文提出了一种名为 LGCNet 的神经架构搜索框架，该框架采用新的搜索空间来有效地搜索轻量级模型，并通过引入 GCN 引导模块实现局部信息交换和提出新型的密集连接融合模块来实现全局信息聚合，同时还引入了基于时延的约束来平衡准确性和速度。大量实验证明，LGCNet 在 Cityscapes 和 CamVid 数据集上取得了最新的最先进的准确性和速度的平衡。

    Feb, 2023

  • ViTAS: 视觉 Transformer 架构搜索

    本文提出了 ViTAS 方法，其中使用循环权重共享机制和身份移位来解决目标嵌入的失衡问题，并辅以弱数据增强和规范化技术，以获得稳定的训练结果。实验证明，与其他常用方法相比，ViTAS 取得了极高的性能提升。

    Jun, 2021

  • 神经网络结构生成器优化

    本文提出了一种将神经结构搜索 (NAS) 看作寻找最优网络生成器的问题，同时提出了一种新的、层次化和基于图形的搜索空间，实现了在极少连续超参数的情况下表示极大多样性的网络类型。通过贝叶斯优化作为搜索策略，该方法有效地扩展了有效架构的范围，促进了多目标学习方法的发展， 并在六个基准数据集上进行了验证，在生成轻量级且高度竞争的模型方面表现出了有效性。

    Apr, 2020

  • 神经架构迁移

    本文介绍了一种基于神经架构搜索（NAS）的新方法，称为神经架构传递（NAT），该方法可将已训练的超网络集成到在线迁移学习和多目标进化搜索流程中，以快速生成适用于多个应用场景的任务特定定制模型，并在 11 项基准图像分类任务中证明了其有效性。

    May, 2020

  • 图神经网络中的神经结构搜索

    本文比较了基于强化学习和进化算法的两种神经架构搜索方法来优化图神经网络，结果在包括 7 个数据集的两个搜索空间内显示出两种方法的准确性与随机搜索相似，引出了有多少搜索空间维度实际上与问题相关的问题。

    Jul, 2020

  • 搜索视觉 Transformer 的搜索空间

    本文介绍了使用神经架构搜索来自动化提高 Vision Transformer 架构和搜索空间的过程，以及设计指南和分析。通过使用 E-T Error 来逐步演化不同的搜索维度。此外，从所搜索的空间中得到的模型，名为 S3，评估在 ImageNet 上表现比最近提出的模型（如 Swin、DeiT 和 ViT）更出色，并在目标检测、语义分割和视觉问答等任务中展示了其普适性。

    Nov, 2021