Jan, 2024

LR-CNN：轻量级面向行的卷积神经网络训练以减少内存消耗

PDF
TL;DR我们通过重新组织操作，将传统的一层一层的数据流规则打破，设计了一种轻量级架构，能够在不影响准确性的情况下移除大部分中间数据，有效降低内存消耗。我们特别研究了两个连续行之间的较弱依赖关系，提出了两种解决方案，并通过评估验证了其有效性。我们还验证了我们的中间数据流优化可以顺利结合现有工作以获得更好的内存减少效果。
convolutional neural networktrainingmemory consumptiondataflow optimizationmemory reduction
发现论文，激发创造
  • 基于查找的卷积神经网络（LCNN）

    本研究提出了一种快速、紧凑且准确的卷积神经网络模型 LCNN，能够在资源受限的平台上实现高效的学习和推断，在 ImageNet 数据集上取得了较好的速度和精度表现，并展示了其在深度学习模型的设备端训练中的优势。

    Nov, 2016

  • 更复杂的网络，更少的推理复杂度

    这篇论文提出了一种新的卷积神经网络结构，通过添加低成本协作层加速了推理过程，实验结果表明，平均加速率为 32％，性能下降极小。

    Mar, 2017

  • 通过多级原位生成实现内存高效神经网络

    本研究提出了一种通用和统一的框架，通过多级现场生成机制和混合精度基准，实现了高分辨率参数的即时恢复，从而以最小的硬件开销直接将昂贵的内存交易转换为超快的芯片内计算，提高了内存效率 10-20 倍。

    Aug, 2021

  • Mini-batch Serialization: CNN 训练中的层间数据重用

    介绍了一种名为 MBS CNN 训练方法以及 WaveCore CNN 训练加速器，它们通过在芯片缓冲区内优化复用而不是访问外部内存来减少内存访问并分别降低 DRAM 流量 75％ 和系统能量 26％。

    Sep, 2018

  • 深度神经网络是否高效利用权重空间？

    通过利用权重矩阵的列空间和行空间的创新概念，我们引入了一种新的方法，可以在不降低性能的情况下大幅减少模型参数，从而解决了资源受限环境下深度学习模型的参数密集性问题。该方法适用于瓶颈层和注意力层，有效地减少了一半的参数，只造成轻微性能降级。通过对 ImageNet 数据集上使用 ViT 和 ResNet50 进行的大量实验，验证了我们的方法的有效性，并表明与传统模型相比具有竞争性能。这种方法不仅满足了对参数高效的深度学习解决方案的紧迫需求，还在实际场景中具有极大的应用前景。

    Jan, 2024

  • 卷积残差记忆网络

    通过在卷积残差网络中引入长短时记忆机制，增强了记忆机制加强卷积神经网络的性能，使得该方法在 CIFAR-100 基准测试上优于其他最先进的技术，并且在 CIFAR-10 和 SVHN 基准测试上与之相当，而且相比于深度相当的深度残差神经网络，网络宽度更大，深度更小，总体计算量更少。

    Jun, 2016

  • 低秩扩展加速卷积神经网络

    本文介绍了两种简单的方案，利用交叉通道或过滤器冗余构建低秩滤波器基，从而显著加速卷积层。我们使用应用于实际网络中的这些方法，以不降低精度的速度获得了 2.5 倍和在不到 1％精度下降的情况下获得了 4.5 倍的加速比，仍然在标准基准上实现了最先进的场景文本字符识别。

    May, 2014

  • LightRNN: 记忆和计算高效的循环神经网络

    提出了一种新的 RNN 算法，使用 2-Component 共享嵌入表示单词，并成功地将其应用于语言建模任务，大大减少了模型大小和训练时间。

    Oct, 2016

  • 在 GPU 上优化深度卷积神经网络的内存效率

    本文探讨了对于卷积神经网络的内存效率的优化，以及其对性能的影响，并提出了数据布局及内存访问模式方面的优化策略。实验证明，这些策略不仅对于单个层面有效，对于整个神经网络也可获得高达 27.9 倍和 5.6 倍的速度提升。

    Oct, 2016

  • 重温卷积神经网络：用于城市范围内的人群流量分析

    本文提出了一种名为 DeepLGR 的新型框架，以有效应对城市范围内人流量分析面临的挑战。该框架包含局部特征提取模块、全局上下文模块和基于张量分解的区域特定预测器，具有较高的效率、稳定性和泛化性能，能够有效学习全局空间关系和区域潜在功能。

    Feb, 2020