Apr, 2023

自动驾驶中基于 Transformer 模型和硬件加速的分析：综述

PDF
TL;DR系统概述了针对自动驾驶领域的 Transformer 模型，分析了编码器解码器和仅编码器模型的优缺点，并深入探讨了量化和运行时等关键因素对 Transformer 操作符及其硬件加速的影响，同时在卷积神经网络、Swin-Transformer 和具有 4D 编码器的 Transformers 层之间进行操作符水平比较。
transformer-based modelsautonomous drivinghardware accelerationencoder-decoderswing-transformer
发现论文，激发创造
  • 自动驾驶中视觉变形器研究综述：现状和未来发展方向

    该论文综述探讨了视觉 Transformer 模型在自动驾驶中的应用，重点研究了自我注意力、多头注意力和编码器 - 解码器架构等基本概念，并比较了它们在目标检测、分割、行人检测、车道检测等应用中的架构优点和局限性，最后展望了视觉 Transformer 在自动驾驶中的未来研究方向。

    Mar, 2024

  • 基于运动变压器的轨迹预测的迁移学习研究

    基于变压器模型的模拟研究进行了转移学习技术的研究，旨在为在现实世界中实现有效的转移提供性能与计算时间之间可能的权衡的见解。

    Apr, 2024

  • Transformer 推理的全栈优化：一项调查

    本文调查了提高 Transformer 模型推理效率的不同方法，包括分析现有模型架构的瓶颈和硬件设计的影响，调度操作的挑战，以及通过神经网络架构搜索来优化 Transformer 模型等研究方向。最后，作者将这些方法应用于一个开源的全栈 DNN 加速器生成器中，并表明这些方法都可以对提高模型推理速度产生影响，其中最优的全栈设计方法可以将速度提高多达 88.7 倍，同时性能基本不受损害

    Feb, 2023

  • 视觉 Transformer 综述

    本文综述了超过一百种不同的视觉 Transformer 根据三个基本的计算机视觉任务和不同的数据流类型，提出了一个分类法来组织代表性的方法，评估和比较所有这些现有的视觉 Transformers 在不同的配置下，并揭示一系列的重要但未开发的方面，最后指出了三个有前途的研究方向。

    Nov, 2021

  • 视觉中的 Transformer：一项综述

    本次研究对变压器模型在计算机视觉方面的应用进行了全面的回顾，包括自我关注、大规模预训练和双向编码等基础概念及其在图像分类、视频处理等多个领域的广泛应用。研究比较了不同技术在架构设计及实验价值方面的优缺点，并提出了未来的研究方向。

    Jan, 2021

  • 自主驾驶中的硬件加速器

    自动驾驶汽车中的计算平台通过机器学习模型记录大量传感器数据，并进行决策以确保车辆的安全运行。传统的计算机处理器缺乏感知和机器视觉要求的能力和灵活性。硬件加速器是专用的协处理器，可帮助自动驾驶汽车满足更高级别自主性的性能要求。本文概述了机器学习加速器的用途，特别是在自动驾驶汽车的机器视觉方面。我们为研究人员和实践者提供建议，并突出了该新兴领域的持续和未来研究的轨迹。

    Aug, 2023

  • 高效 Transformer：综述

    本研究总结了多个领域的最新端到端基于 Transformer 模型的 X-former 模型，强调了计算和内存效率

    Sep, 2020

  • 高效视觉 Transformer 用于准确的交通标志检测

    该研究论文解决了自动驾驶车辆和驾驶辅助系统中与交通标志检测相关的挑战，特别关注使用 Transformer 模型来提高检测的速度和准确性。

    Nov, 2023

  • 视频 Transformer: 综述

    该研究调查了 Transformer 模型在建模视频方面的使用，并分析了在处理视频的输入级别时如何更高效地减少冗余、重新引入有用的归纳偏见以及捕捉长期的时间动态，探索了有效的自监督学习策略，表明在视频的行动分类基准测试中，与 3D ConvNets 相比，它们具有更低的计算复杂度。

    Jan, 2022

  • Transformer 深度学习任务的应用综述

    本文通过详细调查从 2017 至 2022 年间提出的 Transformer 模型，分析了其在自然语言处理、计算机视觉、多模态、音频和语音处理以及信号处理等领域中的应用及其对应的任务，并提供了一种分类法，以期为进一步研究及其未来的应用提供参考。

    Jun, 2023