Oct, 2020

TurboTransformers: Transformer 模型的高效 GPU 服务系统

PDF
TL;DR本文设计了名为 TurboTransformers 的 transformer 服务系统，包括计算运行时和服务框架，能够以很少的代码集成到 PyTorch 中，在 GPU 平台上实现最先进的 transformer 模型服务性能。
transformernlpgputurbotransformersserving system
发现论文，激发创造
  • 自然语言处理中 Transformer 的效率综述

    该论文通过对 NLP 的演变及其应用的准确性和效率的评论，以及提出和硬件考虑下对基于 transformer 模型的效率进行改进的研究贡献的调查，旨在确定当前 NLP 技术对可持续社会的贡献，并为未来研究奠定基础。

    May, 2024

  • 高效 Transformer：综述

    本研究总结了多个领域的最新端到端基于 Transformer 模型的 X-former 模型，强调了计算和内存效率

    Sep, 2020

  • FastFormers: 高效 Transformer 模型的自然语言理解

    本研究提出了 FastFormers 来加快基于 Transformer 模型的 NLU 任务的推理效率，可以通过运用知识蒸馏、结构剪枝和数值优化等方法，将预处理模型在 CPU 和 GPU 上的速度提高至 9.8-233.9 倍，节省成本的同时降低能耗。

    Oct, 2020

  • 数据移动即所需：优化 Transformer 的案例研究

    该研究提出了一种全局优化 transformers 数据传输的方法，通过减少数据传输的步骤，实现了对 BERT 编码器层的训练性能提升 1.30 倍以及整个 BERT 的训练性能提升 1.19 倍。此方法可更广泛地应用于优化深度神经网络，提供了解决性能瓶颈问题的见解。

    Jun, 2020

  • 探索变形金刚模型在移动设备上用于自然语言处理的性能和效率

    本研究旨在通过研究 Transformers 当前的设备执行状态，构建代表性模型基准，并彻底评估它们在具有不同计算能力的移动设备上的性能，实验结果表明 Transformers 不利于加速器，并指出需要软件和硬件优化才能实现高效部署。

    Jun, 2023

  • 现代神经网络结构的图灵完备性

    本文讲述了研究者探讨替代循环神经网络的新架构（如基于注意力或卷积的架构）的计算能力，通过研究 Transformer 和 Neural GPU 的计算能力，发现这两种模型都可以纯粹依靠计算和访问数据的内部密集表示而成为图灵完备的，而不需要外部存储器。

    Jan, 2019

  • 快速答案：在张量流处理器上加速 BERT

    本研究中，我们通过将所有的非线性组件与矩阵乘法组件谨慎地融合起来，在张量流处理器上加速了 BERT 模型的推断，实现了一批量 - 1 推断的 130 微秒确定性尾延迟，比当前最先进的方法快 6 倍。

    Jun, 2022

  • 音频 Transformer 的 Patchout 高效训练

    本文提出一种优化和正则化变压器模型的新方法，使其在音频光谱图上实现了新的最优性能，同时提出了一种在性能和训练速度上均优于 CNN 的变压器模型。

    Oct, 2021

  • 使用增强记忆变换器的流播同声传译

    本文提出了一种针对实时应用场景的端到端增强记忆 Transformer 编码器，成功地应用于流式同声传译任务，可以处理大量连续输入，相较于单向掩码 Transformer 模型，具有更好的延迟和质量平衡。

    Oct, 2020

  • 分层 Transformer 是更高效的语言模型

    通过建立分层结构的 Transformer 模型 Hourglass，让 Transformer 可以更加高效地处理长序列，在 ImageNet32 生成任务方面表现出新的最先进，同时提高了在广泛研究的 enwik8 基准上的语言建模效率。

    Oct, 2021