Aug, 2017

ProjectionNet: 使用神经投影学习高效的设备端深度神经网络

PDF
TL;DR引入一种新的紧凑型神经网络结构，该结构使用联合优化框架进行训练，包括一个全训练神经网络和一个利用随机投影进行输入或中间表示转换的简单的 “投影” 网络。使用全网络来指导投影网络的训练。经过训练的小型网络可以用于低内存和计算成本的推理，并且在视觉识别和文本分类任务中保持良好的准确性。
compact neural networksprojection networkapprenticeship learningmemory footprintvisual recognition
发现论文，激发创造
  • 基于离散反向传播的 1 比特卷积神经网络的投影卷积模型

    本文提出了基于投影的卷积神经网络（PCNNs），使用离散的反向传播来提高二值神经网络（BNNs）的性能，并在 ImageNet 和 CIFAR 数据集上实现了比其他最先进的 BNNs 更好的分类性能。

    Nov, 2018

  • 移动设备上的深度学习：方法、系统和应用

    本文概述了高效深度学习的方法、系统和应用，包括流行的模型压缩方法、自动化模型设计和用户自定义的基于设备的训练，以及各种针对特定任务和空间 - 时间冗余的加速技术和系统设计。

    Apr, 2022

  • 级联投影：端到端的网络压缩和加速

    我们提出了一种数据驱动的方法来压缩卷积神经网络，该方法通过级联投影法（CaP）实现高精度，高吞吐量和低内存要求，并使用反向传播和随机梯度下降等技术进行优化。

    Mar, 2019

  • 使用哈希技巧压缩神经网络

    本研究提出了 HashedNets 这一新型网络结构，在使用深度学习技术进行移动设备应用时，可以通过哈希函数来分组并共享连接权重参数，进而大幅缩小神经网络所需的存储空间，而不会明显影响其泛化性能。

    Apr, 2015

  • CapProNet: 基于胶囊子空间正交投影的深度特征学习

    本文提出了一种名为 CapProNet 的胶囊投影网络，通过学习投影子空间的正交基实现对输入特征向量的分组并更新及其输出，从而优化了 ResNet 和 Densenet 的性能，并在基准数据集上展现出胶囊网络家族的竞争性最优表现。

    May, 2018

  • 深度神经网络的高效在线处理

    本论文致力于提高神经网络的效率，提出了连续推理网络（CIN），它通过自下而上的计算重新组织和适度的架构修改来改善其在线处理效率，并采用 CIN 重构了几种广泛使用的网络架构，包括 3D CNN，ST-GCN 和 Transformer Encoders。另外，通过使用熔接适配器网络和结构修剪，本论文还达到了在使用较少的学习权重的情况下实现卓越的预测准确性的目的。

    Jun, 2023

  • 优化密集前馈神经网络

    通过剪枝和迁移学习，我们提出了一种新颖的前馈神经网络构建方法，能在不损失准确率的情况下压缩参数数量超过 70%，并且通过精心选择剪枝参数，大多数精炼模型的性能优于原始模型，从而不仅有助于更高效的模型设计，而且更有效的使用。

    Dec, 2023

  • NullaNet：用于减少内存访问推理的深度神经网络训练

    使用布尔逻辑最小化方法训练深度神经网络可以有效降低计算和存储复杂度，并实现高能效。

    Jul, 2018

  • 通过多级原位生成实现内存高效神经网络

    本研究提出了一种通用和统一的框架，通过多级现场生成机制和混合精度基准，实现了高分辨率参数的即时恢复，从而以最小的硬件开销直接将昂贵的内存交易转换为超快的芯片内计算，提高了内存效率 10-20 倍。

    Aug, 2021

  • ProFormer：基于设备的局部敏感哈希投影变形器

    ProFormer 是一种基于投影的变压器架构，使用 LSH 投影层动态生成字表示，提高了效率和空间利用率，使用本地投影注意层进一步减少计算量，相较于 BERT 模型在设备上的表现更快更小。

    Apr, 2020