高效 Transformer 及其扩展的神经架构搜索

Jul, 2022

高效 Transformer 及其扩展的神经架构搜索

Neural Architecture Search on Efficient Transformers and Beyond

Zexiang Liu, Dong Li, Kaiyue Lu, Zhen Qin, Weixuan Sun...

TL;DR本文采用神经架构搜索技术，提出了一种优化 Transformer 架构的新框架，以增强其效率，并通过机器翻译和图像分类任务进行验证。实验表明，优化后的 Transformer 架构在计算效率方面得到提升，但与标准 Transformer 相比，其整体精度略有下降，这表明了深度学习模型的精确性和效率之间的平衡问题。因此，本文提出了将 Softmax attention 和 efficient attention 混合使用的方法以达到平衡性。

Abstract

Recently, numerous efficient Transformers have been proposed to reduce the quadratic computational complexity of standard Transformers caused by the softmax attention. However, most of them simply swap Softmax with an efficient attention mechanism without considering the customized arc

transformer efficiency neural architecture search softmax attention image classification

发现论文，激发创造

NAT：准确紧凑神经架构转换器

通过在深度神经网络内使用 Markov 决策过程和强化学习，我们提出了神经架构转换器，能够替换无意义或冗余的操作以提高性能并减少计算成本。我们的实验在 CIFAR-10 和 ImageNet 数据集上验证了此方法的有效性。

Oct, 2019

无需训练的 RNN 和 Transformer 神经结构搜索

本文研究了针对语言建模任务的循环神经网络 (RNN) 和基于 BERT 的 transformer 架构的无需训练的 NAS 指标，提出了一种新的指标来预测训练后的 RNN 性能，并发现 transformer 的搜索空间范式不适用于无需训练的神经架构搜索，需要进行优化。

Jun, 2023

使用块智能自监督神经架构搜索探索混合 CNN 转换器

本文提出了 Block-wisely Self-supervised Neural Architecture Search (BossNAS) 方法，包括定义可搜索的 CNN-transformer 混合结构搜索空间 HyTra、以及新型自监督训练策略 ensemble bootstrapping。在此挑战性的搜索空间上，作者搜索得到的模型 BossNet-T 在 ImageNet 上可达到 82.5% 的准确率，且在 MBConv 和 NATS-Bench 大小的搜索空间上均有较高的最优架构效果。

Mar, 2021

AutoMoE: 针对高效稀疏激活 Transformer 的神经结构搜索

AutoMoE 利用罕见专家模型搜索出高效迪凡助手模型，较手动设计的模型可减少 3 倍的 FLOPs，与最先进的 NAS 生成的难点模型相比，可减少 23% 的 FLOPs，同时在 NMT 基准数据集上保持 BLEU 评分的平价。

Oct, 2022

HR-NAS: 使用轻量级 Transformer 搜索高效高分辨率神经结构

本项研究提出了一种名为 HR-NAS 的新型神经结构搜索方法，采用多分辨率特征编码和轻量级 transformer 来动态产生网络架构，并通过高分辨率肢体姿态分割、目标检测和图像分类等密集预测任务的实验结果证明其能够在小的计算预算下实现最先进的性能和 FLOPs 折衷。

Jun, 2021

基于元学习内核的高效可微分神经架构搜索

该研究提出了一种基于元卷积核的高效神经架构搜索策略，通过直接编码超级网络来缩小多个卷积核选项，从而在减少中间特征存储内存和资源预算的同时，实现更精细的搜索。该方法在 ImageNet 基准数据集上以 357M FLOPs 为限制可达到 77.0% 的 top-1 准确率，超过了 EfficientNet 和 MobileNetV3，并且与最先进的 NAS 方法相比，在相同的计算预算下速度还快了三个数量级。

Dec, 2019

带有集成 Gumbel-Softmax 的可微架构搜索

本文提出一种可微分的网络架构搜索方法，使用集成 Gumbel-Softmax 估算器优化深度网络的构架和参数以实现同时保证高效和有效性的目标。实验证明，该方法可以高效地发现高性能架构。

May, 2019

无概率笼的标准化注意力

本文介绍了 softmax-attention 在几何上的局限性，并提出采用归一化代替 softmax 实现自我注意力，从而获得超参数和数据推断鲁棒性较强的通用结构。

May, 2020

Softmax 的优势：揭示其在线性注意力上的性能优势

通过对 softmax 和线性注意机制进行全面的比较分析，我们揭示了 softmax 注意在大多数情况下优于线性注意的潜在原因。

Oct, 2023

LiteTransformerSearch: 用于高效语言模型的无需训练的神经结构搜索

本文提出了一种名为 “轻量 Transformer 搜索（LTS）” 的新型网络自动设计算法，利用解码器参数作为感性代理，不需要任何模型训练，直接在目标设备上运行，方便快捷地制定任务性能与硬件成本间的 Pareto 前沿方案，应用到自回归语言模型中可获得高的准确率，同时摆脱了数百个 GPU 小时训练的碳足迹。

Mar, 2022