May, 2023

FMM-X3D：基于 FPGA 的 X3D 人体动作识别建模与映射

PDF
TL;DR本文提出一种新的工具流，可以将在 Human Action Recognition 中获得 95.5% 的 UCF101 基准精度的最先进模型 X3D 映射到任何 FPGA 设备上，并且生成一个经过优化的基于流的硬件系统，使生成的设计在现有的性能 - 精度 pareto 前沿上进一步推进，实现了针对这种复杂模型架构的 Human Action Recognition 任务的目标。
3d convolutional neural networksfpga devicehuman action recognitionoptimised stream-based hardware systemperformance-accuracy pareto front
发现论文，激发创造
  • fpgaHART: 一种用于将 3D CNNs 加速到 FPGA 上的吞吐量导向的 HAR 工具流

    研究提出一种工具流程，将 3D CNN 模型优化到 FPGA 设备上，采用同步数据流图来模拟设计并引入转换来拓展和探索设计空间，以实现高吞吐量设计。在多个 FPGA 设备上评估了各种 3D CNN 模型，证明了与早期手动调整和特定模型的设计相比，该工具流程具有竞争性的性能。

    May, 2023

  • 基于分解时空卷积网络的人类动作识别

    本文提出了一种名为 FstCN 的新型 3D 深度架构，能够有效处理人类行为三维动态序列信号，并且利用转换和排列操作，将原始的三维卷积核学习分解为一系列二维和一维卷积核学习过程，同时提出了基于视频片段采样的有效训练和推断策略，在 UCF-101 和 HMDB-51 数据集上的表现比传统 CNN 方法更好，与最近一种利用辅助训练视频的方法相当。

    Oct, 2015

  • 基于 FPGA 的卷积神经网络实时手写识别实现

    利用 FPGA 实现手写字母和数字的识别，采用 LC、全连接神经网络和 LeNet 卷积神经网络三种机器学习架构，通过 Python 实现训练、生成 hex 文件后存储在 FPGA 的 SRAM 单元中，并通过自定义组合语言的固件实现卷积、池化等处理。

    Jun, 2023

  • FPGA-QHAR: 面向边缘的量化人体动作识别优化吞吐量

    提出了一种基于改进的 8 位量化的 Two-Stream SimpleNet-PyTorch CNN 体系结构的集成端到端的可扩展硬件 / 软件加速器共设计用于加速实时监控和机器人系统上的人类动作识别。通过将所有卷积、批量归一化和 ReLU 操作融合成一个单一的均匀层，并利用 Lucas-Kanade 运动流方法实现高并行加速器设计和优化的芯片上引擎计算，实现了近 81% 的预测准确率和约 24 FPS 的实时推理吞吐量，其性能比以前的研究提高了 1.7 倍到 1.9 倍。该框架针对更高的吞吐量和性能测量进行了基准测试，并作为一个开源项目在 GitHub 上提供，用于训练和实现在边缘平台上。

    Nov, 2023

  • f-CNN$^{ext {x}}$: 基于 FPGA 的多 CNN 应用映射工具流

    该论文提出了一种自动化设计流程 f-CNN$^{ext {x}}$，用于在 FPGA 上映射多个 CNN，包括一个新的多 CNN 硬件架构和自动化设计空间探索方法，以考虑每个模型的性能要求来分配计算资源和生成可合成加速器。此外，f-CNN$^{ext {x}}$ 采用一种新的调度算法，可以缓解 CNN 之间的内存带宽争用限制，并维持架构的高利用率。实验评估表明，f-CNN$^{ext {x}}$ 的设计比不考虑争用的 FPGA 映射效果提高了多达 50％，并为多 CNN 系统提供了高达 6.8 倍的性能功耗比。

    May, 2018

  • 基于关节轨迹地图和卷积神经网络的动作识别

    本文提出了一种使用 Joint Trajectory Maps（JTM）表示三维骨架序列中的时空信息的方法，然后使用 ConvNets 学习人体动作识别的判别特征，并通过多个 JTM 的评分融合来改善最终识别结果，实验结果表明该方法在多个公共基准数据集上均取得了最先进的结果。

    Dec, 2016

  • fpgaConvNet：在嵌入式 FPGA 上映射多样化卷积神经网络的工具流

    本文提出了一个使用 Synchronous Dataflow（SDF）模型的端到端框架 fpgaConvNet，该框架可用于将卷积神经网络 (ConvNets) 映射到 FPGAs 上，实现了对性能度量的有效优化，并在嵌入式环境中将性能提高了最高 6.65x。

    Nov, 2017

  • 用于 3D 视频中动作识别的双流 RNN/CNN

    本论文提出了一种通过将循环神经网络和卷积神经网络相结合运用于动作识别的算法，通过 SVM 对特征进行分类，实验结果表明，在标准数据集上，该算法提高了 14% 的识别率。

    Mar, 2017

  • 可重构卷积神经网络实现的三维人体活动识别

    本文提出了一种基于 RGB-D 视频的自动活动识别的深度模型，使用 3D 卷积和最大池化算子，结合激活函数以及学习出活动的时间结构，该模型可以直接作用在原始输入上进行活动分类，而且还允许动态调整模型结构以适应人类活动的时间变化，并在挑战性场景下验证了该方法的优越性，同时还给出了一个大型的 RGB-D 视频人类活动数据库。

    Jan, 2015

  • 基于 FPGA 的深度神经网络实现，仅使用芯片内存

    本研究开发了一种基于 FPGA 的定点深度神经网络系统，实现了手写数字识别和音素识别任务，相较于基于 GPU 的系统有更高的效率和更低的功耗。

    Feb, 2016