Apr, 2023

模型变浅：联合学习降低非线性和深度以实现高效隐私推理

PDF
TL;DR本文介绍了一种深度学习优化方法，利用卷积块的 ReLU 敏感性，去除 ReLU 层并将其前后卷积层合并为一个浅层块，从而在不牺牲准确率的情况下，有效减少 ReLU 和线性操作，提高模型的性能及效率。
发现论文，激发创造
  • 学习线性化深度神经网络以实现安全高效的私有推理

    该研究提出了一种敏捷的训练方法 SENet，可在保持模型分类精度的同时大幅度减少 ReLU 神经元来降低由 ReLU 操作引起的延迟，从而提高隐私推断（PI）的效率与准确性。

    Jan, 2023

  • DeepReDuce: 快速私有推理的 ReLU 降维

    本文提出 DeepReDuce 以降低 ReLU 的总数，从而减少隐私神经推理的延迟时间，保持高精度。与私有推理的最新技术相比，DeepReDuce 在等 RELUs 数量的情况下提高了精度并将 RELUs 数量降低了 3.5％，同时提高了 3.5 倍的精度。

    Mar, 2021

  • 高效却稳健的私有推理的线性化模型

    RLNet 是一种鲁棒线性化网络，通过减少高延迟 ReLU 操作，在干净和受损图像上提高模型性能，从而在私有推理中提供改进的分类准确性，同时减少计算复杂度。

    Feb, 2024

  • 无捷径的深度学习：定制整流器塑造核心

    本研究提出了一种新的变换，完全兼容 ReLUs 的变种 ——Leaky ReLUs，并证明我们的方法可以实现与 ResNets 相当的准确性。

    Mar, 2022

  • 浅层 ReLU$^k$ 神经网络的最优逼近速率及其在非参数回归中的应用

    研究了一些与浅层 ReLU$^k$ 神经网络相对应的变分空间的近似容量，证明了这些空间包含充分平滑的函数与有限变化范数。此外，还建立了以变化范数为基础的逼近率与神经元数量的最佳逼近率，并且证明了浅层 ReLU$^k$ 神经网络可以实现学习 H"older 函数的极小极值速率，而过参量化 (深或浅) 神经网络可以实现非参数回归的几乎最优速率。

    Apr, 2023

  • 更复杂的网络，更少的推理复杂度

    这篇论文提出了一种新的卷积神经网络结构，通过添加低成本协作层加速了推理过程，实验结果表明，平均加速率为 32％，性能下降极小。

    Mar, 2017

  • ShaResNet: 共享权重减少残差网络参数数量

    本文通过共享同一空间尺度下的残差块中卷积层的权重，提出了一种名为 ShaResNet 的深度残差网络，使网络参数得到显著减少，同时在图像分类任务中保证了准确率。

    Feb, 2017

  • 选择性网络线性化用于高效私有推理

    提出了一个基于梯度优化的算法，通过 ReLU 感知优化在保证预测准确性的前提下，针对私有推理的瓶颈问题实现了可选择性地进行线性化，实验结果表明，相比现有研究，该算法在提升预测准确率（50K iso-ReLU）上可达到 4.25％，或者在保证预测准确性（70％）的前提下可减少 2.2 倍的运行时间，并在延迟 - 准确性空间中不断完善。

    Feb, 2022

  • 浅层学习作为深度学习的替代方案

    拟合深度学习基础理论的神经网络架构 —— 卷积层可以达到与深度卷积神经网络类似的性能，并有一个可识别其普遍行为的幂律现象。

    Nov, 2022

  • CryptoNAS：基于 ReLU 预算的私有推理

    本文提出了一种名为 CryptoNAS 的 NAS 方法，该方法适用于 PI，可以在给定的预算内最大化准确性。CryptoNAS 通过优化运算时 ReLU 等非线性操作的代价，同时尽量避免线性层，比现有技术可以提高 3.4% 的准确度和 2.4 倍的速度。

    Jun, 2020