NAS-BERT: 任务无关和自适应尺寸 BERT 压缩及神经架构搜索

KDDMay, 2021

NAS-BERT: 任务无关和自适应尺寸 BERT 压缩及神经架构搜索

NAS-BERT: Task-Agnostic and Adaptive-Size BERT Compression with Neural Architecture Search

Jin Xu, Xu Tan, Renqian Luo, Kaitao Song, Jian Li...

TL;DR本文提出了一种基于神经网络结构搜索 (neural architecture search, NAS) 的 BERT 压缩方法 NAS-BERT，其可输出多个带有不同大小和延迟的压缩模型，适用于不同的内存和延迟限制，并且不需要针对特定的下游任务进行调整。该方法在 GLUE 和 SQuAD 数据集上的实验表明，NAS-BERT 相比以前的方法具有更好的准确性，可以直接应用于具有不同内存或延迟要求的不同下游任务。

Abstract

While pre-trained language models (e.g., bert) have achieved impressive results on different natural language processing tasks, they have large numbers of parameters and suffer from big computational and memory c

pre-trained language models model compression neural architecture search bert downstream tasks

发现论文，激发创造

AdaBERT: 可适应任务的 BERT 压缩与可微分神经架构搜索

本研究提出了一种名为 AdaBERT 的压缩方法，利用可微分神经结构搜索自动为特定任务压缩 BERT，以达到速度和参数大小的较优权衡，并通过几个 NLP 任务的评估表明，能够保持与 BERT 相当的性能，但速度快 12.7x 到 29.3x，参数大小也小 11.5x 到 17.0x。

Jan, 2020

基于 Transformer 的大规模模型压缩：以 BERT 为例的案例研究

本文总结了压缩预训练 Transformer 模型的研究进展，尤其关注流行的 BERT 模型的最佳压缩实践和方法，提出未来发展的方向，以达到轻量、高准确性和通用性的自然语言处理模型。

Feb, 2020

通过神经架构搜索对预训练语言模型进行结构修剪

基于预训练语言模型和神经架构搜索的结构修剪方法，通过多目标策略实现对子网络的灵活压缩，提高模型效率。

May, 2024

AutoTinyBERT：用于高效预训练语言模型的自动超参数优化

本文提出一种名为 AutoTinyBERT 的方法，采用一次神经结构搜索技术来自动搜索 BERT 架构的超参数，为各种延迟约束提供自适应和高效的超小型 PLMs 开发方式，并在 GLUE 和 SQuAD 基准测试中表现出优异的性能。

Jul, 2021

NAS-Bench-NLP: 自然语言处理神经架构搜索基准

本文的研究内容是基于文本数据集的循环神经网络搜索空间，旨在为神经架构搜索和自然语言处理 (NLP) 社区提供高潜力的研究成果。在实验中，研究者在文本数据集上训练了 14k 种循环神经网络结构，并进行了内在和外在的评估，最终测试了多个神经架构搜索算法并展示了预计算结果的可利用性。

Jun, 2020

LadaBERT：通过混合模型压缩实现 BERT 的轻量化适应

本篇论文提出了一种混合模型压缩方法 LadaBERT，结合权重剪枝、矩阵分解和知识蒸馏等技术，可以在保持较高准确性的同时将训练开销减少一个数量级。LadaBERT 是一种适用于在线服务的轻量级 BERT 模型，可以更好地满足用户请求的低延迟需求。

Apr, 2020

LLaMA-NAS：大规模语言模型高效神经架构搜索

提出了一种基于一次性 NAS 的高效方法，通过对 LLaMA2-7B 进行微调，并应用基于遗传算法的搜索方法找到更小、计算复杂度较低的网络架构，实现了模型大小减少和吞吐量加速，同时保持了准确性；此方法比修剪或稀疏化技术更有效和高效，并且证明了量化能够进一步减少网络的大小和复杂度，为自动创建适用于廉价、更易得到的硬件平台的大型语言模型提供了解决方案。

May, 2024

MobileBERT：一种紧凑型的面向资源受限设备的通用任务 BERT 模型

本文介绍了 MobileBERT，它是一种用于压缩和加速流行的 BERT 模型的方法，通过使用瓶颈结构和仔细设计的自我关注和前馈网络之间的平衡来实现。实证研究表明，MobileBERT 比 BERT_BASE 小 4.3 倍，比 BERT_BASE 快 5.5 倍，并在众所周知的基准测试中取得了有竞争力的结果。

Apr, 2020

元架构搜索

本文提出了基于贝叶斯元学习的 (Meta Architecture Search) 方法，用于加速大量任务的体系结构搜索，通过学习适用于整个任务集的任务不可知表达式，实现对 NAS 的大规模高效搜索，减少计算成本，并在 Imagenet 分类任务中发现了与目前使用更少显卡宽带的超参搜索算法相当的结果

Dec, 2018

GPT-NAS: 采用生成式预训练模型进行神经架构搜索

GPT-NAS 是一种基于预训练模型的神经结构搜索算法，通过引入先验知识来大大减少搜索空间，从而优化神经网络架构，并在实验中取得了比其他七个手动设计的神经结构和竞争 NAS 方法提供的 13 个神经结构的好结果，并提高了经过精细调整的神经结构的性能。

May, 2023