Aug, 2022

可重构激活网络

PDF
TL;DR本文介绍了通过重新构造非线性激活函数创建硬件高效模型的新范式 -- Restructurable Activation Networks（RANs），包括硬件感知搜索空间和半自动搜索算法 RAN-explicit（RAN-e）等。通过训练自由的网络拓扑缩放方法称为 RAN-implicit（RAN-i），我们在多种硬件设备上实现了图像分类，目标检测及性能方面的全面提升，并在 ImageNet 上实现了最新的结果。
发现论文，激发创造
  • 高效推理的分辨率自适应网络

    本论文提出一种新颖的分辨率自适应网络（RANet），通过利用输入样本的空间冗余性，有效地降低了深度网络的计算成本，同时在 CIFAR-10、CIFAR-100 和 ImageNet 数据集上展示了其性能优越性。

    Mar, 2020

  • 循环加性网络

    本文提出了一种基于输入和上一状态的门限组件加法构成的递归神经网络 RANs，与 LSTM 在基准语言建模问题上表现相当，表明 LSTM 中的非线性计算在此类问题上并非必需品，而门限完成了更多的计算工作。

    May, 2017

  • 通过网络转换实现高效架构搜索

    本文提出了一种基于深度神经网络的自动化设计架构的新框架，该框架使用强化学习代理作为元控制器，通过功能保持变换在当前网络的基础上，尝试增加网络深度或层宽。在 CIFAR-10 和 SVHN 基准数据集上的测试表明，该方法在受限的计算资源下可以设计出具有高竞争力的网络，并在不使用跨层连接的条件下实现了 4.23％的测试误差率。

    Jul, 2017

  • 学习线性化深度神经网络以实现安全高效的私有推理

    该研究提出了一种敏捷的训练方法 SENet，可在保持模型分类精度的同时大幅度减少 ReLU 神经元来降低由 ReLU 操作引起的延迟，从而提高隐私推断（PI）的效率与准确性。

    Jan, 2023

  • 基于方向进化策略的易部署网络高效参数搜索

    本文设计了一种改进的重新参数化搜索空间以及基于神经网络架构搜索的自动重新参数化增强策略，通过搜索优秀的重新参数化架构进一步提高了卷积网络的分类精度。

    Apr, 2022

  • 可逆残差网络：无需存储激活即可反向传播

    该研究介绍了一种新型的具有可逆性的深度残差网络，名为 RevNet，能够通过其后续层的激活来精确地重建每一层的激活，从而克服了传统深度残差网络在反向传播过程中所需要大量的存储空间，实现了与相同大小的深度残余网络相似的图像分类准确率。

    Jul, 2017

  • RepNAS：寻找高效的重新参数化模块

    本文提出一种新的搜索空间并使用 RepNAS 方法在分支数量约束下为每个层搜索最佳的多元分支块 (ODBB) 以实现高性能网络的搜索。实验结果表明，搜索到的 ODBB 可以轻松超越人工设计的多样分支块 (DBB)，并具有有效的训练。

    Sep, 2021

  • 重新审视 ResNets：改进的训练和扩展策略

    本文重新研究了经典的 ResNet 模型，并重点讨论了模型架构、训练方法和扩展策略对模型性能的影响。作者发现，训练方法和扩展策略可能比模型架构的变化更重要，同时作者提出了两种新的扩展策略，并设计了一系列 ResNet 架构。实验结果表明，这些简单修改的 ResNet 模型比 EfficientNet 更快，且在 ImageNet 上达到了类似的准确性，同时在半监督学习和下游任务转移学习上也有显著提升。

    Mar, 2021

  • ReBNet: 残差二值化神经网络

    提出了 ReBNet 框架，用于训练可重构的二进制神经网络并在 FPGA 上执行，通过多级二值化提高分类准确性同时满足资源有限的设备要求。

    Nov, 2017

  • IamNN：用于高效图像分类的迭代自适应移动神经网络

    本研究提出基于 ResNet 架构的参数共享和自适应计算时间的网络，该网络比原始网络更小，能够根据输入图像的复杂性调整计算成本。

    Apr, 2018