AAAIJul, 2021

AutoBERT-Zero: 从头开始进化 BERT 骨干

PDF
TL;DR本文介绍了一种基于自动搜索的方法，在一个灵活的搜索空间中发现了一种新型的预训练语言模型骨干架构，命名为 AutoBERT-Zero，其通过使用 Operation-Priority Neural Architecture Search 算法来优化自动搜索，证明了自动搜索网络结构可以在各种下游任务中显着优于手动设计的模型，表明其具有传递和扩展的能力。
pre-trained language modelsplm backboneneural architecture searchop-nas algorithmautobert-zero
发现论文，激发创造
  • AutoTinyBERT：用于高效预训练语言模型的自动超参数优化

    本文提出一种名为 AutoTinyBERT 的方法，采用一次神经结构搜索技术来自动搜索 BERT 架构的超参数，为各种延迟约束提供自适应和高效的超小型 PLMs 开发方式，并在 GLUE 和 SQuAD 基准测试中表现出优异的性能。

    Jul, 2021

  • 从零开始进化机器学习算法的 AutoML

    本文旨在通过引入一个新颖的框架，展示 AutoML 可以进一步通过基本数学运算作为构建块自动发现完整的机器学习算法，从而大大减少人类偏见，并通过演化搜索不同类型的任务来适应算法。

    Mar, 2020

  • 通过神经架构搜索对预训练语言模型进行结构修剪

    基于预训练语言模型和神经架构搜索的结构修剪方法，通过多目标策略实现对子网络的灵活压缩，提高模型效率。

    May, 2024

  • BERT 之后：其他木偶对语言的理解

    利用 oLMpics 基准和心理语言学探测数据集，我们对包括 T5、BART 和 ALBERT 在内的 29 个模型进行了多样化的分析。结果表明，这些模型都无法以零样本的方式解决组成性问题，并且全局模型决策也不能预测模型的语言能力。

    May, 2022

  • LV-BERT：利用层面多样性的 BERT 模型

    该研究改进预训练模型，采用多种不同类型和顺序的神经网络层，采用进化算法寻找最优结构，在多个任务中优于现有的 BERT 模型。

    Jun, 2021

  • 基于 BERT 的句子分类的神经架构搜索

    使用大型文本语料库对语言模型进行预训练是自然语言处理中常见的做法。然后，对这些模型进行微调以在各种任务中取得最佳结果。本文对仅添加单个输出层作为网络顶部的分类头的常见做法提出了质疑。我们进行了一次自动机器学习搜索，以找到在计算成本较小的情况下能够超过当前单层分类器的体系结构。我们在 GLUE 数据集的各种自然语言处理基准上验证了我们的分类体系结构。

    Mar, 2024

  • 基于梯度学习的运行时剪枝加速注意力机制

    通过引入一个软正则化器来优化自注意力机制的计算，新提出的 LeOPArd 位串行体系结构可以在不损害平均精度的情况下提高计算速度和降低能源消耗。

    Apr, 2022

  • LiteTransformerSearch: 用于高效语言模型的无需训练的神经结构搜索

    本文提出了一种名为 “轻量 Transformer 搜索（LTS）” 的新型网络自动设计算法，利用解码器参数作为感性代理，不需要任何模型训练，直接在目标设备上运行，方便快捷地制定任务性能与硬件成本间的 Pareto 前沿方案，应用到自回归语言模型中可获得高的准确率，同时摆脱了数百个 GPU 小时训练的碳足迹。

    Mar, 2022

  • TrimBERT: 为折衷而量身定制的 BERT 模型

    本文介绍了一种方法：通过减少 BERT-Base 模型中的中间层数量来达到压缩模型、加快训练速度且不影响下游任务的准确性的效果，同时使用计算上更简单的技术代替自注意力层中的 softmax 操作并删除一半的层归一化层以进一步减少训练时间。

    Feb, 2022

  • 面向边缘 AI 系统的自动高效 BERT 剪枝

    提出 AE-BERT，一种自动和高效的 BERT 剪枝框架，可在资源受限设备上实现基于 Transformer 自然语言处理模型并提高准确性。实验结果表明，在压缩模型后，与 CPU 相比使用 AE-BERT 产生的 BERT 基础编码器子网络可以在类似的总剪枝比率下获得更高的分数，并提高推理时间。

    Jun, 2022