Feb, 2024

基于 FPGA 的粒子物理实验的超快速变压器

PDF
TL;DR本文介绍了在可编程门阵列 (FPGA) 上使用 hls4ml 工具实现变压器架构的高效实现。通过使用变压器模型在解决各种问题方面的有效性的证明，其在粒子物理实验触发器中的应用成为了一个引人关注的课题。在这项工作中，我们实现了变压器模型的关键组成部分，如多头注意力和 softmax 层。为了评估我们的实现的有效性，我们专注于一个粒子物理学喷注风味标记问题，并使用了一个公共数据集。我们在 Xilinx UltraScale+ FPGA 上记录了低于 2 微秒的延迟，该延迟符合 CERN 大型强子对撞机实验的硬件触发器要求。
transformer architecturefield-programmable gate arrayhls4mlexperimental triggersparticle physics
发现论文，激发创造
  • 基于 FPGA 的深度神经网络在粒子物理中的快速推断

    介绍了基于 FPGA 进行神经网络推理的案例研究，其使用高级综合技术（HLS）构建机器学习模型，旨在为粒子物理学的高速实时事件处理提供支持，适用于很多场合，如寻找新的暗扇区粒子和测量希格斯玻色子等。

    Apr, 2018

  • 用于高能对撞机长寿命粒子触发的 FPGA 快速神经网络推理

    本研究对于 FPGA 卡驱动的机器学习算法的使用进行探讨，并证明在高亮度程序触发策略和事件选择中，这种算法具有较高的准确性和较低的推理时间。

    Jul, 2023

  • 仅需集合：基于 FPGA 的超快速喷注分类方法在 HL-LHC 中的应用

    通过对基于机器学习的算法在可编程门阵列上进行准确的喷注风味分类的研究，展示了在输入规模和算法选择方面的延迟和资源消耗如何扩展，并提供了一种用于在 CERN LHC 的高亮度阶段进行标记的模型的初始设计。通过量化感知训练和高效硬件实现，我们展示了可以以较低的计算资源成本实现复杂架构（例如深度集合和交互网络）的 O（100）纳秒推理。

    Feb, 2024

  • HLSTransform: 基于高层次综合的 FPGA 上能效优化的 Llama 2 推断

    在大规模语言模型中使用图形处理单元 (GPUs) 作为硬件加速器，但是因为能源消耗大、运营成本高以及对边缘计算不适用等问题，我们开发了一种用于 transformers 的加速器 LLama 2，通过高级综合 (HLS) 来在 FPGAs 上进行原型设计。使用 HLS 的方法能够实现对 Intel Xeon Broadwell E5-2686 v4 CPU 和 NVIDIA RTX 3090 GPU 相比，Xilinx Virtex UltraScale+ VU9P FPGA 每个标记使用的能量减少了 12.75 倍和 8.25 倍，同时相对于 CPU 的推理速度提高了 2.46 倍，相对于 RTX 3090 GPU 的速度保持在 0.53 倍。我们开源了代码并记录了合成的步骤，希望这项工作能够推动 FPGAs 在 transformer 推理中的广泛应用，并激发对于能效推理方法的研究。

    Apr, 2024

  • 在多 FPGA 平台上实现大规模 Transformer 的可行性

    我们通过开发一个可扩展的多 FPGA 平台和一些将大型应用映射到该平台的工具，探讨了使用多个 FPGA 实现大型 transformers 的可行性，并通过六个 FPGAs 的工作样例证明了我们的平台和工具的有效性，从而验证了在大型机器学习应用中使用 FPGAs 的可行性。

    Apr, 2024

  • 在 FPGAs 中部署 AI 推理引擎的框架实现

    本文介绍了用于解决 SLAC 数据实验的高速探测器的存储问题的解决方案 —— 用机器学习技术在边缘计算设备上实现实时数据处理的 SLAC 神经网络库框架，该框架采用基于 FPGA 的加速器来实现 ML 解决方案，并且支持所有权重的 RTL 重训练和恢复。

    May, 2023

  • 基于 FPGA 的粒子轨迹跟踪的低延迟边缘分类 GNN

    本文提出了一种基于 FPGA 的资源高效的 GNN 架构，用于低延迟的粒子轨迹重建，该架构在 Xilinx UltraScale + VU9P 上的结果表明，相比于 CPU 和 GPU，性能提高了 1625X 和 1574X。

    Jun, 2023

  • 面向 FPGAs 和 ASICs 的 Hessian 感知量化神经网络的端对端协同设计

    利用 Hessian-aware quantization (HAWQ) 来量化神经网络（NNs），Quantized Open Neural Network Exchange（QONNX）中间表示和 hls4ml 到 FPGA 和 ASIC 固件的工具流程将 NNs 高效地实现在硬件上，并在粒子物理应用程序中展示了这个工作流程，包括使用混合精度 NN 分类器对 HLC 质子 - 质子碰撞中的高动量粒子喷流进行优化。

    Apr, 2023

  • 量子视觉变压器用于夸克胶子分类

    提出了一种混合量子 - 经典视觉转换器架构，其特点是在注意机制和多层感知机中集成了变分量子电路。该研究解决了计算效率和资源限制在分析未来的高亮度大型强子对撞机数据方面的重要挑战，提出了该架构作为潜在解决方案。通过将该模型应用于 CMS 开放数据的多探测器喷注图像，我们评估了该方法的性能，旨在区分强子引发的喷注和胶子引发的喷注。我们成功训练了量子模型，并通过数值模拟对其进行了评估。使用这种方法，在考虑类似数量的参数的情况下，我们实现了与完全经典架构几乎相媲美的分类性能。

    May, 2024

  • 研究面向 eFPGA 的资源高效中子 /γ 射线分类机器学习模型

    实施机器学习模型于硬件上已取得了相当大的兴趣和进展，而该研究探索了电子可变程序逻辑阵列（eFPGA）在完全连接神经网络（fcNN）和增强决策树（BDT）模型实现方面的参数空间以及资源效率的权衡，以帮助制定一个作为测试芯片的一部分的 eFPGA 结构的规范。

    Apr, 2024