MMNov, 2016

使用随机运算的高可扩展深度卷积神经网络 SC-DCNN

PDF
TL;DR本文设计了一种基于 SC 的 DCNN，并优化了其各个方面，包括内积、池化、激活函数、特征提取块、权重存储方法等，以实现高效、可扩展和节能的硬件优化。
internet of thingsdeep convolutional neural networksstochastic computinghardware optimizationpower/energy consumption
发现论文，激发创造
  • 随机配置机: FPGA 实现

    通过在可编程门阵列 (FPGA) 上实现二值化输入的 SCM 模型，本文报告了两个基准数据集和两个工业数据集的结果，包括单层和深度架构的 SCM。

    Oct, 2023

  • SCNN: 基于一般分布的统计卷积神经网络及其在视频目标检测中的应用

    本文提出了一种通过操作相关数字分布的统计卷积神经网络（SCNN）来处理多帧相关图像的方法，实现了显著的速度提升，即使在未经优化的情况下，仍然能实现高达 178% 的加速。

    Mar, 2019

  • 随机尖峰注意力：在尖峰网络中利用随机计算加速注意力

    通过利用随机计算（SC）执行基于脉冲神经网络（SNN）的 Transformer 模型的点积注意力机制，实现高准确率和能源效率。

    Feb, 2024

  • SCNN：压缩稀疏卷积神经网络加速器

    该论文介绍了一种名为 Sparse CNN 的卷积神经网络加速器体系结构，它可以通过利用 CNN 训练期间的网络修剪所产生的零值权重以及推理期间常见的 ReLU 算子产生的零值激活来提高性能和能源效率，从而减少数据传输和存储要求，并通过一种新型数据流方式有效地传递权重和激活值到乘法器阵列。该加速器在现代神经网络上可以将性能和能源效率分别提升 2.7 倍和 2.3 倍。

    May, 2017

  • 随机配置网络：基础和算法

    本文提出了一种用于神经网络的随机化方法，即随机配置网络，其采用随机分配输入权重和偏差节点的方法，以监督机制为基础，通过分析地计算输出权重，建立了三种回归问题的版本。研究结果显示，该方法具有较少人为干预的优点，可自适应随机参数设定，学习速度快，泛化能力强。

    Feb, 2017

  • 面向移动和嵌入式应用的超高能效 CNN 领域特定加速器，功率为 9.3TOPS / 瓦

    该论文介绍了一种用于实现基于卷积神经网络的计算机视觉应用的高效领域特定架构（DSA），并利用 DSA 设计了一个能够高效地支持移动设备和嵌入式系统的加速器，可用于实时图像分类和场景识别等实际应用。

    Apr, 2018

  • STCN：随机时态卷积网络

    本文提出了一种新的 STCN 体系结构，其将时间卷积网络（TCN）的计算优势与具有不同时间尺度的时间依赖性的随机潜在空间的表示能力和鲁棒性相结合，提高了多个任务的对数似然度，并且在手写文本建模中能够预测长时间跨度内的高质量合成样本。

    Feb, 2019

  • SCSC：强化卷积神经网络和 Transformer 的空间跨尺度卷积模块

    本论文介绍了一个名为空间跨尺度卷积（SCSC）的模块，通过验证其在改善 CNN 和 Transformers 方面的有效性。SCSC 引入了一种高效的空间跨尺度编码器和空间嵌入模块，以在一个层次中捕捉各种特征。通过在人脸识别任务中使用 SCSC 的 FaceResNet，在 68% 的 FLOPs 和 79% 的参数减少情况下，提高了 2.7% 的性能；在 ImageNet 分类任务中，使用 SCSC 的 Swin Transformer 在 22% 的 FLOPs 减少情况下实现了更好的性能，并且使用 SCSC 嵌入的传统网络（如 ResNet）可以与 Swin Transformer 的性能匹敌。

    Aug, 2023

  • 工业人工智能的随机配置机

    基于随机配置机器 (SCMs) 的新的随机学习器模型被提出，以实现有效建模和数据尺寸节省，适用于工业应用。SCMs 的模型存储可以显著压缩，同时保持良好的预测性能，对于处理工业数据分析有很大潜力。

    Aug, 2023

  • 使用同步随机梯度下降进行分布式深度学习

    设计并实现了一种分布式多节点同步的 SGD 算法，通过在不改变超参数、压缩数据或更改算法行为的情况下进行详细的分析，实现了 CNN 在数百个节点上的扩展，并展示了记录的训练吞吐量，同时通过在基于以太网的 AWS 集群上训练，使深度学习更加平民化，在 16 个节点上展示了约 14 倍的扩展性。

    Feb, 2016