Nov, 2023

FPGA-QHAR: 面向边缘的量化人体动作识别优化吞吐量

PDF
TL;DR提出了一种基于改进的 8 位量化的 Two-Stream SimpleNet-PyTorch CNN 体系结构的集成端到端的可扩展硬件 / 软件加速器共设计用于加速实时监控和机器人系统上的人类动作识别。通过将所有卷积、批量归一化和 ReLU 操作融合成一个单一的均匀层，并利用 Lucas-Kanade 运动流方法实现高并行加速器设计和优化的芯片上引擎计算，实现了近 81% 的预测准确率和约 24 FPS 的实时推理吞吐量，其性能比以前的研究提高了 1.7 倍到 1.9 倍。该框架针对更高的吞吐量和性能测量进行了基准测试，并作为一个开源项目在 GitHub 上提供，用于训练和实现在边缘平台上。
human action recognitionaccelerator designedge chipsreal-time surveillancehar
发现论文，激发创造
  • fpgaHART: 一种用于将 3D CNNs 加速到 FPGA 上的吞吐量导向的 HAR 工具流

    研究提出一种工具流程，将 3D CNN 模型优化到 FPGA 设备上，采用同步数据流图来模拟设计并引入转换来拓展和探索设计空间，以实现高吞吐量设计。在多个 FPGA 设备上评估了各种 3D CNN 模型，证明了与早期手动调整和特定模型的设计相比，该工具流程具有竞争性的性能。

    May, 2023

  • TransNet：基于迁移学习的网络人体动作识别

    通过将复杂的 3D-CNN 解构为 2D - 和 1D-CNN，本文提出了一种简洁而多功能的端到端深度学习架构 TransNet 用于人体动作识别（HAR），通过与其他领域的预训练 2D-CNN 模型相结合，TransNet 可以有效地提高效率和准确性，并在大量实验结果和与最先进的模型的比较中展示了其在 HAR 中相对于灵活性、模型复杂度、训练速度和分类准确性方面的优越性。

    Sep, 2023

  • FMM-X3D：基于 FPGA 的 X3D 人体动作识别建模与映射

    本文提出一种新的工具流，可以将在 Human Action Recognition 中获得 95.5% 的 UCF101 基准精度的最先进模型 X3D 映射到任何 FPGA 设备上，并且生成一个经过优化的基于流的硬件系统，使生成的设计在现有的性能 - 精度 pareto 前沿上进一步推进，实现了针对这种复杂模型架构的 Human Action Recognition 任务的目标。

    May, 2023

  • 边缘实时超维重配置的硬件加速器

    本文介绍了利用低功耗嵌入式硬件的超高维可重构分析系统 (HyDRATE)，该系统利用无 MAC (无浮点数乘积累加操作) 深度神经网络 (DNN) 和超维 (超高维) 计算加速器在边缘执行实时重新配置。通过展示该算法、训练好的量化模型生成和特征提取来实现超高纬度基于逻辑的分类器，并展示了性能随超维数增加而提高的情况。本文介绍了实现的低功耗 FPGA 硬件和嵌入式软件系统，和实现的硬件加速器，以及系统延迟和功耗噪声稳健性等方面的讨论。通过视频活动分类任务的实际与模拟系统性能比较，展示了在相同数据集上的重新配置。使用边缘的少量学习新课程，使用无梯度下降反向传播仅通过重新训练前馈超高维分类器实现该系统的重构性。

    Jun, 2022

  • CascadeCNN：将量化在卷积神经网络中的性能极限推至极致

    CascadeCNN 是一个自动化工具流程，用于推动任何给定的 CNN 模型的量化极限，旨在进行高吞吐率推理。通过在级联中使用低 - 高精度单元以及置信度评估单元，实现对任何给定的 CNN-FPGA 配对的定制。实验证明，所提出的工具流程在相同的资源预算和准确性下，可以使 VGG-16 的性能提升高达 55％，AlexNet 的性能提升高达 48％，而无需重新训练模型或访问训练数据。

    Jul, 2018

  • 轻量级变形金刚在移动设备上的人体活动识别

    本文介绍了人体活动识别用于移动设备的轻量模型 HART，通过 IMUs 数据并使用 Transformer architecture 实现，相比于传统模型在减少资源消耗的同时具有更好的识别效果。

    Sep, 2022

  • HAQ: 硬件感知自动混合精度量化

    本文介绍了一种基于深度强化学习的硬件感知自适应量化方法，将硬件加速器的反馈置于设计循环中以自动确定量化策略，该方法可以为不同的神经网络架构和硬件架构专门量身定制量化策略。与传统方法相比，该方法可以将延迟降低 1.4-1.95 倍，能量消耗降低 1.9 倍，并提供了不同量化策略的含义，为神经网络架构设计和硬件架构设计提供了新的思路。

    Nov, 2018

  • FPGA 上高吞吐量混合精度 CNN 加速器设计

    本文研究了深度神经网络在 FPGA 上的优化设计，提出使用多种精度量化来减少计算和数据传输成本，并成功实现了针对混合精度 CNN 的高效硬件加速器，能够达到高精度和高性能的权衡。

    Aug, 2022

  • ActiveHARNet：基于设备端深度贝叶斯主动学习的人类活动识别

    本研究提出了 ActiveHARNet，一种支持设备上增量学习和推理的资源有效的深度集成模型，该模型使用 dropout 中的 Bayesian 神经网络近似来表示模型不确定性，并结合适当的主动学习获取函数。在两个公开可用的手腕 HAR 和跌倒检测数据集上的实证结果表明，ActiveHARNet 在不同用户之间的推断效率上实现了显着的提升，并在增量学习中获得了至少 60％的数据采集减少率，从而证明了部署和增量学习的可行性。

    May, 2019

  • 使用参数优化的多阶段图卷积网络和 Transformer 模型进行人类活动识别的特征融合

    使用深度学习模型（如卷积神经网络和 Transformer）进行人类活动识别，研究表明特征融合对于改善活动识别系统的准确性和稳健性具有重要意义。使用 HuGaDB、PKU-MMD、LARa 和 TUG 数据集，PO-MS-GCN 和 Transformer 模型在准确性上进行了训练和评估，PO-MS-GCN 模型在效果上优于其他先进模型，并且特征融合在不同数据集上改善了结果。

    Jun, 2024