本文提出 DeepReDuce 以降低 ReLU 的总数，从而减少隐私神经推理的延迟时间，保持高精度。与私有推理的最新技术相比，DeepReDuce 在等 RELUs 数量的情况下提高了精度并将 RELUs 数量降低了 3.5％，同时提高了 3.5 倍的精度。

Mar, 2021

本文提出了一种优化私有推断的方法，将 ReLU 算子重新表示为近似符号测试，并引入了一种新的截断方法，显著降低每个 ReLU 的成本，结果节省了存储和运行时间，同时不影响准确性。

Jun, 2021

研究提出了两种方法以加速安全推理技术，第一种方法取决于卷积计算中的 patch 尺寸选择，第二种方法是基于减少安全 ReLU 操作所需的比特比较数。

Apr, 2023

为处理复杂非线性激活函数，在现有多方计算 (MPC) 技术基础上提出了一种名为 Compact 的方法，它能够高效地近似复杂激活函数，并在保持模型准确性的同时提供了 2 倍到 5 倍的计算加速。

Sep, 2023

使用方形激活函数的新型深度神经网络架构 xMLP 在保持准确性和效率方面与使用 ReLU 的网络相当，在 CIFAR-100 和 ImageNet 上实验结果表明，xMLP 模型相比 ResNet 模型在激活层和参数数量较少的情况下始终表现更好。与最先进的隐私推断（PI）模型相比，xMLP 在提升了 0.58% 的准确率的同时加快了 7 倍的 PI 速度，同时在相同的 PI 延迟下还提升了 4.96% 的准确性，当将 PI 转移到 GPU 时，xMLP 比之前最先进的 PI 模型快了多达 700 倍，并具有可比较的准确性。

Mar, 2024

使用梯度下降法的 AutoReP 方法在私有推理任务中减少非线性运算的数量，提高推理准确性，同时引入分布感知多项式逼近 DaPa 来保持模型的表达能力。实验结果表明 AutoReP 方法在各项指标上明显优于当前最先进的方法，同时在 ImageNet 数据集上以 176.1 倍的减少 ReLU 操作次数的代价达到了 75.55% 的准确率。

Aug, 2023

该研究提出了一种敏捷的训练方法 SENet，可在保持模型分类精度的同时大幅度减少 ReLU 神经元来降低由 ReLU 操作引起的延迟，从而提高隐私推断（PI）的效率与准确性。

Jan, 2023

介绍了一种基于多方计算的机器学习服务（MLaaS）的方法，通过使用多项式逼近替换 ReLU 激活函数和采用单轮 MPC 协议进行评估，实现了在大型模型上快速准确的推理，从而保护客户数据隐私。

Jun, 2023

提出了一个基于梯度优化的算法，通过 ReLU 感知优化在保证预测准确性的前提下，针对私有推理的瓶颈问题实现了可选择性地进行线性化，实验结果表明，相比现有研究，该算法在提升预测准确率（50K iso-ReLU）上可达到 4.25％，或者在保证预测准确性（70％）的前提下可减少 2.2 倍的运行时间，并在延迟 - 准确性空间中不断完善。

Feb, 2022

本文提出了一种名为 CryptoNAS 的 NAS 方法，该方法适用于 PI，可以在给定的预算内最大化准确性。CryptoNAS 通过优化运算时 ReLU 等非线性操作的代价，同时尽量避免线性层，比现有技术可以提高 3.4% 的准确度和 2.4 倍的速度。

Jun, 2020