ACLJul, 2021

AutoTinyBERT：用于高效预训练语言模型的自动超参数优化

PDF
TL;DR本文提出一种名为 AutoTinyBERT 的方法，采用一次神经结构搜索技术来自动搜索 BERT 架构的超参数，为各种延迟约束提供自适应和高效的超小型 PLMs 开发方式，并在 GLUE 和 SQuAD 基准测试中表现出优异的性能。
pre-trained language modelsarchitecture hyper-parametersneural architecture searchautotinybertefficiency
发现论文，激发创造
  • 用于大型预训练语言模型参数高效微调的神经架构搜索

    探讨了一种基于网络剪枝的高效的神经架构搜索方法用于学习预训练模型的参数优化方法 (Parameter-efficient tuning)，并在 GLUE 上的实验结果表明算法的有效性以及 PET 网络结构设计的实际表现。

    May, 2023

  • 通过神经架构搜索对预训练语言模型进行结构修剪

    基于预训练语言模型和神经架构搜索的结构修剪方法，通过多目标策略实现对子网络的灵活压缩，提高模型效率。

    May, 2024

  • LiteTransformerSearch: 用于高效语言模型的无需训练的神经结构搜索

    本文提出了一种名为 “轻量 Transformer 搜索（LTS）” 的新型网络自动设计算法，利用解码器参数作为感性代理，不需要任何模型训练，直接在目标设备上运行，方便快捷地制定任务性能与硬件成本间的 Pareto 前沿方案，应用到自回归语言模型中可获得高的准确率，同时摆脱了数百个 GPU 小时训练的碳足迹。

    Mar, 2022

  • NAS-BERT: 任务无关和自适应尺寸 BERT 压缩及神经架构搜索

    本文提出了一种基于神经网络结构搜索 (neural architecture search, NAS) 的 BERT 压缩方法 NAS-BERT，其可输出多个带有不同大小和延迟的压缩模型，适用于不同的内存和延迟限制，并且不需要针对特定的下游任务进行调整。该方法在 GLUE 和 SQuAD 数据集上的实验表明，NAS-BERT 相比以前的方法具有更好的准确性，可以直接应用于具有不同内存或延迟要求的不同下游任务。

    May, 2021

  • AutoBERT-Zero: 从头开始进化 BERT 骨干

    本文介绍了一种基于自动搜索的方法，在一个灵活的搜索空间中发现了一种新型的预训练语言模型骨干架构，命名为 AutoBERT-Zero，其通过使用 Operation-Priority Neural Architecture Search 算法来优化自动搜索，证明了自动搜索网络结构可以在各种下游任务中显着优于手动设计的模型，表明其具有传递和扩展的能力。

    Jul, 2021

  • LLaMA-NAS：大规模语言模型高效神经架构搜索

    提出了一种基于一次性 NAS 的高效方法，通过对 LLaMA2-7B 进行微调，并应用基于遗传算法的搜索方法找到更小、计算复杂度较低的网络架构，实现了模型大小减少和吞吐量加速，同时保持了准确性；此方法比修剪或稀疏化技术更有效和高效，并且证明了量化能够进一步减少网络的大小和复杂度，为自动创建适用于廉价、更易得到的硬件平台的大型语言模型提供了解决方案。

    May, 2024

  • 自适应调整 Transformer 网络：提高低资源机器翻译的速度、效率和性能

    本文介绍的机器翻译模型基于 Transformer，通过自动调整网络架构和超参数来提高 BLEU 分数，其中引入了自动调整网络大小的正则化方法，能够在删除网络中的神经元的同时减少模型的参数数量。

    Oct, 2019

  • 重新思考微型语言模型的优化和架构

    通过实证研究基于一个亿参数的小型语言模型，在神经网络结构、参数初始化和优化策略三个方面分析了每个组件的影响，找到了多个设计公式，如令牌压缩、结构微调、参数继承和多轮训练等，证实了它们对小型语言模型的有效性，进一步优化和改进模型的效果明显，验证了其优越性能。

    Feb, 2024

  • AutoMoE: 针对高效稀疏激活 Transformer 的神经结构搜索

    AutoMoE 利用罕见专家模型搜索出高效迪凡助手模型，较手动设计的模型可减少 3 倍的 FLOPs，与最先进的 NAS 生成的难点模型相比，可减少 23% 的 FLOPs，同时在 NMT 基准数据集上保持 BLEU 评分的平价。

    Oct, 2022

  • BERT 自动混合精度量化搜索

    本文提出了一种针对 BERT 模型的自动混合精度量化框架，可以在子组水平同时进行量化和修剪，实现了压缩模型和保持同样性能的目标，并结合 DistilBERT 等方法获得了极轻量级模型。

    Dec, 2021