IJCAIJun, 2019

使用领域特定的 CNN 加速器演示跨视觉和文本的迁移学习，用于设备上的 NLP 应用

PDF
TL;DR使用 CNN-DSA 芯片实现了在移动设备上的文本分类和情感分析应用，其采用一位和三位精度的系数以及五位激活表示，功耗低于 300mW，并在 CNN-DSA 芯片内逼近外部完全连接层。此外，还进行了两个 NLP 任务的系统演示，分别为将英文维基百科句子分类到 14 个本体中和将中文在线购物评论分类为正面或负面。
cnn-dsa chipstext classificationsentiment analysispower-efficientmobile devices
发现论文，激发创造
  • 面向移动和嵌入式应用的超高能效 CNN 领域特定加速器，功率为 9.3TOPS / 瓦

    该论文介绍了一种用于实现基于卷积神经网络的计算机视觉应用的高效领域特定架构（DSA），并利用 DSA 设计了一个能够高效地支持移动设备和嵌入式系统的加速器，可用于实时图像分类和场景识别等实际应用。

    Apr, 2018

  • 文本分类的模型混合

    本文旨在通过将深度神经网络 (LSTM) 模型的知识提取到基于卷积神经网络 (CNN) 的模型中，来降低自然语言识别任务（如文本分类）中的推理时间，以实现模型的简化、压缩和加速。

    Aug, 2022

  • 嵌入式汽车平台上卷积神经网络包的性能 / 功耗评估

    最近的网络在嵌入式商用系统芯片上的有效性和效率进行了验证，为工程师选择最合适的卷积神经网络包和计算系统提供了指导。

    Oct, 2023

  • 使用视觉 Transformer 进行实时语义通信演示

    该论文提出了一种基于端到端深度神经网络结构的图像传输方法，利用现场可编程门阵列（FPGA）在实时无线信道上实现了原型测试，结果表明该系统在使用流行的 CIFAR-10 数据集时，比传统 256 正交幅度调制系统在低信噪比情况下表现更好。本文是第一篇使用视觉变换器实现和研究实时语义通信的工作。

    May, 2022

  • Arria 10 上的 OpenCL (TM) 深度学习加速器

    利用深度学习加速器（DLA）和 Winograd 变换技术，我们在 Intel Arria 10 设备上实现了 1020 图像 / 秒的性能，比 FPGA 上最先进的技术快 10 倍，同时也具有 5.8 倍的更高效率，并且与 nVidia TitanX GPU 上基于 AlexNet 的最佳公开实现比 23 img/s/W 具有竞争力。

    Jan, 2017

  • 语音和视觉系统中深度神经网络调查

    该论文对视觉和语言领域中深度神经网络的最新架构、算法和系统进行了综述，并总结了在硬件限制平台上运行深度神经网络的主要挑战和最新进展，探讨了情感计算、智能交通和精准医学等领域中的新兴应用。

    Aug, 2019

  • 移动设备上的深度学习：方法、系统和应用

    本文概述了高效深度学习的方法、系统和应用，包括流行的模型压缩方法、自动化模型设计和用户自定义的基于设备的训练，以及各种针对特定任务和空间 - 时间冗余的加速技术和系统设计。

    Apr, 2022

  • 基于转录器的语音识别加速训练

    本文提出一种在训练阶段复制神经网络加速器 (NNA) 运算符以解决低精度推理引起的性能损失，以此减少用户感知的延迟，并在 270K 小时的英语数据上显示了 5-7％的引擎延迟的改善，节省了高达 10％的句子错误率的降低。

    May, 2023

  • 面向低功耗计算机视觉的即时深度神经网络优化控制

    移动设备上处理视觉数据具有多种应用，但现有的计算机视觉技术通常过于耗电无法部署在资源受限的边缘设备上。本文提出一种新技术，通过引入超参数来动态调整深度神经网络的精确度和能源消耗，无需重新训练即可适应不同边缘应用的硬件约束与精确度要求。该技术称为 AdaptiveActivation，实验证明其在流行的边缘设备上可以达到基准的误差范围内，并且比基准技术所需内存减少了 10% 到 38%，从而提供更多的精确度与效率权衡选项。

    Sep, 2023

  • YodaNN: 超低功耗二进制卷积神经网络加速架构

    本文介绍了一种用于二进制权重卷积神经网络的加速器，能够在 1.2V 下实现 1510 GOp/s 的运算，且在 0.6V 下消耗 895 μW 的功率。这个加速器比先前的最新技术在能量和面积效率方面都有很大的优势。

    Jun, 2016