ICCVAug, 2023

AutoReP：快速私有网络推理的自动 ReLU 替换

PDF
TL;DR使用梯度下降法的 AutoReP 方法在私有推理任务中减少非线性运算的数量，提高推理准确性，同时引入分布感知多项式逼近 DaPa 来保持模型的表达能力。实验结果表明 AutoReP 方法在各项指标上明显优于当前最先进的方法，同时在 ImageNet 数据集上以 176.1 倍的减少 ReLU 操作次数的代价达到了 75.55% 的准确率。
发现论文，激发创造
  • 选择性网络线性化用于高效私有推理

    提出了一个基于梯度优化的算法，通过 ReLU 感知优化在保证预测准确性的前提下，针对私有推理的瓶颈问题实现了可选择性地进行线性化，实验结果表明，相比现有研究，该算法在提升预测准确率（50K iso-ReLU）上可达到 4.25％，或者在保证预测准确性（70％）的前提下可减少 2.2 倍的运行时间，并在延迟 - 准确性空间中不断完善。

    Feb, 2022

  • 学习线性化深度神经网络以实现安全高效的私有推理

    该研究提出了一种敏捷的训练方法 SENet，可在保持模型分类精度的同时大幅度减少 ReLU 神经元来降低由 ReLU 操作引起的延迟，从而提高隐私推断（PI）的效率与准确性。

    Jan, 2023

  • Circa: 随机 ReLUs 用于私人深度学习

    本文提出了一种优化私有推断的方法，将 ReLU 算子重新表示为近似符号测试，并引入了一种新的截断方法，显著降低每个 ReLU 的成本，结果节省了存储和运行时间，同时不影响准确性。

    Jun, 2021

  • DeepReDuce: 快速私有推理的 ReLU 降维

    本文提出 DeepReDuce 以降低 ReLU 的总数，从而减少隐私神经推理的延迟时间，保持高精度。与私有推理的最新技术相比，DeepReDuce 在等 RELUs 数量的情况下提高了精度并将 RELUs 数量降低了 3.5％，同时提高了 3.5 倍的精度。

    Mar, 2021

  • CryptoNAS：基于 ReLU 预算的私有推理

    本文提出了一种名为 CryptoNAS 的 NAS 方法，该方法适用于 PI，可以在给定的预算内最大化准确性。CryptoNAS 通过优化运算时 ReLU 等非线性操作的代价，同时尽量避免线性层，比现有技术可以提高 3.4% 的准确度和 2.4 倍的速度。

    Jun, 2020

  • 高效却稳健的私有推理的线性化模型

    RLNet 是一种鲁棒线性化网络，通过减少高延迟 ReLU 操作，在干净和受损图像上提高模型性能，从而在私有推理中提供改进的分类准确性，同时减少计算复杂度。

    Feb, 2024

  • xMLP：用专有方块激活革新私有推断

    使用方形激活函数的新型深度神经网络架构 xMLP 在保持准确性和效率方面与使用 ReLU 的网络相当，在 CIFAR-100 和 ImageNet 上实验结果表明，xMLP 模型相比 ResNet 模型在激活层和参数数量较少的情况下始终表现更好。与最先进的隐私推断（PI）模型相比，xMLP 在提升了 0.58% 的准确率的同时加快了 7 倍的 PI 速度，同时在相同的 PI 延迟下还提升了 4.96% 的准确性，当将 PI 转移到 GPU 时，xMLP 比之前最先进的 PI 模型快了多达 700 倍，并具有可比较的准确性。

    Mar, 2024

  • 用带有修正幂单元的深度神经网络更好地逼近高维光滑函数

    本文研究使用深层神经网络进行平滑函数的逼近，提出了基于经典多项式逼近理论的优化算法与框架，并发现使用修正功率单元的网络对于逼近平滑函数比使用修正线性单元的网络具有更好的表现，网络的大小也更为紧凑，适用于损失函数中涉及求导的场合。

    Mar, 2019

  • 通过联合设计激活函数进行深度神经网络的快速和私密推断

    介绍了一种基于多方计算的机器学习服务（MLaaS）的方法，通过使用多项式逼近替换 ReLU 激活函数和采用单轮 MPC 协议进行评估，实现了在大型模型上快速准确的推理，从而保护客户数据隐私。

    Jun, 2023

  • 在多项式时间内可靠地学习 ReLU

    本研究提出了有效学习基于 ReLU 的常深度网络的算法，该算法运用了核方法、多项式逼近和凸优化的 “双损失” 方法，同时获得了解决 “凸分段线性拟合” 和 “在单位球上低权重多项式的噪音重构” 等其他应用。

    Nov, 2016