Sep, 2021

DACT-BERT: 适应性可微分计算时间的高效 BERT 推理

PDF
TL;DR本文提出了 DACT-BERT，一种用于增加自然语言处理的计算效率的自适应计算时间策略，该策略通过控制 Transformer block 的数量来改善 BERT 模型的计算效率。实验结果表明，相较于基线模型，DACT-BERT 在减少计算资源的情况下表现出色，并在其他计算资源受限的情况下也具有竞争力。
pre-trained language modelsnlpadaptive computation timetransformer blockscomputational efficiency
发现论文，激发创造
  • 可微分的自适应计算时间在视觉推理中的应用

    本文介绍了一种新颖的基于注意力机制的自适应计算算法，称为 DACT，与现有算法不同，是端到端可微的。该算法可以与许多网络配合使用；特别地，我们研究了其在广泛使用的 MAC 体系结构中的应用，使所需的循环步骤数量显著减少，从而改善了其性能与计算比率。此外，我们还表明，通过增加所使用的最大步骤数，即使在 CLEVR 数据集中也能超越我们最佳的非自适应 MAC 的准确性，证明我们的方法能够控制步骤数而不会显著降低性能。我们的方法提供的额外优点包括通过丢弃无用的步骤，并提供对底层推理过程的更多见解，从而显着提高了可解释性。最后，我们将自适应计算呈现为模型集成的等价形式，类似于专家混合配方。我们的实验代码和配置文件均可用于支持这一领域的进一步研究。

    Apr, 2020

  • AdaBERT: 可适应任务的 BERT 压缩与可微分神经架构搜索

    本研究提出了一种名为 AdaBERT 的压缩方法，利用可微分神经结构搜索自动为特定任务压缩 BERT，以达到速度和参数大小的较优权衡，并通过几个 NLP 任务的评估表明，能够保持与 BERT 相当的性能，但速度快 12.7x 到 29.3x，参数大小也小 11.5x 到 17.0x。

    Jan, 2020

  • DPBERT：基于动态规划的 BERT 高效推理

    本研究提出了一种新的 fine-tuning 策略，使用动态规划来加速 BERT 的推理过程，并通过选择 transformer 层列表的子序列作为输入样本的计算路径，在保持 98% 准确率的同时，将延迟降低到 75%，相比最先进的输入自适应方法，取得了更好的准确率和速度的折中效果。

    Jul, 2023

  • 适应性计算时间的递归神经网络

    本文介绍了一种自适应计算时间（ACT）的算法，它使得循环神经网络能够在接收输入和输出之间学习要执行多少计算步骤。ACT 要求最少的网络架构变化，并且是确定性和可微分的，在不会增加参数梯度的噪声的情况下表现良好。实验结果证明，ACT 在决定二进制向量的奇偶性，应用二元逻辑操作，加法和对真实数字排序的四个综合问题上表现出了显着的性能改进。此外，本文还在 Hutter 奖 Wikipedia 数据集上展示了字符级别的语言建模结果，ACT 在该场景下性能提升不是很大，但是它提供了对数据结构的引人瞩目的见解，更多的计算分配给了难以预测的转换，比如单词之间的空格和句子结束。这表明，ACT 或其他自适应计算方法可能提供一种推断序列数据分段边界的通用方法。

    Mar, 2016

  • DeeBERT：加速 BERT 推理的动态早退出

    DeeBERT 是一种简单而有效的方法，可以加速 BERT 的推理并降低推理时间。实验结果显示 DeeBERT 能够在保持模型质量的情况下，最多节省约 40％的推理时间，这为高效地应用基于 transformer-based 的深度模型提供了新思路。

    Apr, 2020

  • FastBERT: 自适应推理时间的自蒸馏 BERT 模型

    本文提出了一种新颖的速度可调的 FastBERT 语言模型，通过采用自适应推理时间和独特的自蒸馏机制，在保证性能的同时提高了计算效率，并在 12 个英文和中文数据集上取得了良好的结果。

    Apr, 2020

  • LadaBERT：通过混合模型压缩实现 BERT 的轻量化适应

    本篇论文提出了一种混合模型压缩方法 LadaBERT，结合权重剪枝、矩阵分解和知识蒸馏等技术，可以在保持较高准确性的同时将训练开销减少一个数量级。LadaBERT 是一种适用于在线服务的轻量级 BERT 模型，可以更好地满足用户请求的低延迟需求。

    Apr, 2020

  • DynaBERT: 带有自适应宽度和深度的动态 BERT

    本文介绍了一种名为 DynaBERT 的新型动态 BERT 模型，其通过选择自适应宽度和深度来灵活调整模型大小和延迟，以达到不同硬件性能的要求，并通过知识蒸馏过程，从全尺寸模型到小子网络，实现自适应宽度和深度。综合实验表明，它具有可比较的性能，并且在较小的宽度和深度下始终优于现有的 BERT 压缩方法。

    Apr, 2020

  • EdgeBERT：面向延迟感知的多任务 NLP 推理的句子级能耗优化

    EdgeBERT 是一种算法硬件协同设计，提供基于熵的早期退出预测，以进行动态电压频率缩放 (DVFS)，从而实现最小能耗，同时遵循预定的目标延迟，以适应资源受限的边缘平台，在最小的计算和存储占用开销下，提供多任务自然语言处理 (NLP) 加速，相比于传统的推理方法，无限制的早期退出方法以及在 Nvidia Jetson Tegra X2 移动 GPU 上的 CUDA 适配，EdgeBERT 硬件系统在激活多任务 NLP 推理加速方面，能够生成高达 7x，2.5x 和 53x 的低能耗。

    Nov, 2020

  • NAS-BERT: 任务无关和自适应尺寸 BERT 压缩及神经架构搜索

    本文提出了一种基于神经网络结构搜索 (neural architecture search, NAS) 的 BERT 压缩方法 NAS-BERT，其可输出多个带有不同大小和延迟的压缩模型，适用于不同的内存和延迟限制，并且不需要针对特定的下游任务进行调整。该方法在 GLUE 和 SQuAD 数据集上的实验表明，NAS-BERT 相比以前的方法具有更好的准确性，可以直接应用于具有不同内存或延迟要求的不同下游任务。

    May, 2021