May, 2024

NOVA: 基于片上网络的向量单元，用于在 CNN 加速器上映射注意力层

PDF
TL;DR本研究介绍了 NOVA，一种基于 NoC 的向量单元，可以在加速器的 NoC 中执行非线性操作，并能覆盖现有的神经加速器，以在边缘计算中映射注意力层。我们的结果表明，当运行现有的基于注意力的神经网络时，NOVA 体系结构比最先进的硬件逼近器高效节能，可提高功率效率高达 37.8 倍。
发现论文，激发创造
  • A$^3$: 神经网络中的加速注意力机制近似方法

    本研究提出了 A3 机制，利用算法逼近和硬件专业化实现对于神经网络中注意力机制的加速，以达到多个数量级的能效提升和大幅度加速传统硬件的效果。

    Feb, 2020

  • NAPA-VQ: 基于向量量化的邻域感知原型增强用于持续学习

    非样本类增量学习方法在解决前向和后向遗忘问题上取得了重要进展，本研究提出了一种新的框架 NAPA-VQ，通过学习特征空间中的拓扑关系和生成具有代表性的旧类原型来解决类重叠和决策边界判别性的问题，实验证明 NAPA-VQ 在准确性和遗忘性能方面优于现有的 NECIL 方法。

    Aug, 2023

  • YodaNN: 超低功耗二进制卷积神经网络加速架构

    本文介绍了一种用于二进制权重卷积神经网络的加速器，能够在 1.2V 下实现 1510 GOp/s 的运算，且在 0.6V 下消耗 895 μW 的功率。这个加速器比先前的最新技术在能量和面积效率方面都有很大的优势。

    Jun, 2016

  • 基于向量 - 向量 - 矩阵架构的硬件感知框架：用于 NLP 应用中的低延迟推断

    提出一种名为 VVMA 的新型向量 - 向量 - 矩阵体系结构，通过利用专用硬件，降低了神经机器翻译和转换模型的推理时间，并使模型参数和 FLOP 数量减少，同时保持较高准确性。

    Oct, 2020

  • 序列推荐中的非侵入式自注意力用于辅助信息融合

    本研究提出了一种新方法 NOVA，在 BERT 框架下利用辅助信息来提供更好的注意力分布，以便更全面和更好地推荐。在公共和商业数据集上验证，本文提出的方法能够稳定地胜过现有技术。

    Mar, 2021

  • 非局部注意力优化及改进上下文建模的神经图像压缩

    本文提出了一种基于深度神经网络（DNN）的 VAE 结构的新型非局部注意力优化和改进的上下文建模图像压缩（NLAIC）算法，采用了非局部网络操作嵌入到编码器和解码器中，通过采用关注机制生成掩码来让特征自适应量化，实现了改进条件熵建模潜在特征，可在实际应用中增加速度、降低内存消耗和减轻实现复杂度的额外增强措施，并在 Kodak 和 CLIC 数据集上取得了与现有方法相比的最新压缩功率效率。

    Oct, 2019

  • 用均匀注意力为视觉 Transformer 提供支持

    通过研究 Vision Transformers 中的 self-attention 机制密度，得出了密集交互对模型的重要性，并提出了一种新的方法 ——Context Broadcasting (CB)，有效地提高了模型的容量和泛化能力。

    Oct, 2022

  • 高效注意力：线性复杂度的注意力

    本文提出了一种新的有效注意机制，其在计算代价和内存使用方面远优于点积注意力，这种资源效率使得它能够更广泛和灵活地集成到网络中，提高了观察精度，可以用于物体检测、实例分割和立体深度估计等领域。

    Dec, 2018

  • 基于元素的注意力层：一种优化选项

    本文提出了一种新的注意力机制，并通过将 Dot-Product Attention 中的矩阵乘法转换成数组乘法来实现元素级别的注意力，从而在保持实验精度的同时减少了网络的参数量。在 Fashion MNIST 和 CIFAR10 数据集上的分类实验中，该方法的结果表明，相对于 VGG 类似结构，神经网络降低了 97% 的参数量，但在 Fashion MNIST 数据集上的分类准确率达到了 92%，而在 CIFAR10 数据集上的分类准确率仍相当于 VGG-like 架构的 60%。

    Feb, 2023

  • 基于 TDNN 的说话人验证中的强调通道关注和传递聚合 (ECAPA-TDNN)

    本文提出了一种基于统计汇聚、1D Res2Net 模块和 Squeeze-and-Excitation 机制等增强方法的 ECAPA-TDNN 神经网络架构，利用此架构改进了当前流行的 X-Vector 神经网络架构，显著提高了说话人识别性能。

    May, 2020