提出了一个基于梯度优化的算法，通过 ReLU 感知优化在保证预测准确性的前提下，针对私有推理的瓶颈问题实现了可选择性地进行线性化，实验结果表明，相比现有研究，该算法在提升预测准确率（50K iso-ReLU）上可达到 4.25％，或者在保证预测准确性（70％）的前提下可减少 2.2 倍的运行时间，并在延迟 - 准确性空间中不断完善。

Feb, 2022

该研究提出了一种敏捷的训练方法 SENet，可在保持模型分类精度的同时大幅度减少 ReLU 神经元来降低由 ReLU 操作引起的延迟，从而提高隐私推断（PI）的效率与准确性。

Jan, 2023

本文提出了一种名为 CryptoNAS 的 NAS 方法，该方法适用于 PI，可以在给定的预算内最大化准确性。CryptoNAS 通过优化运算时 ReLU 等非线性操作的代价，同时尽量避免线性层，比现有技术可以提高 3.4% 的准确度和 2.4 倍的速度。

Jun, 2020

本文提出了一种优化私有推断的方法，将 ReLU 算子重新表示为近似符号测试，并引入了一种新的截断方法，显著降低每个 ReLU 的成本，结果节省了存储和运行时间，同时不影响准确性。

Jun, 2021

使用梯度下降法的 AutoReP 方法在私有推理任务中减少非线性运算的数量，提高推理准确性，同时引入分布感知多项式逼近 DaPa 来保持模型的表达能力。实验结果表明 AutoReP 方法在各项指标上明显优于当前最先进的方法，同时在 ImageNet 数据集上以 176.1 倍的减少 ReLU 操作次数的代价达到了 75.55% 的准确率。

Aug, 2023

本文提出了一种技术，能够将深度学习分类器的防御性能从较小的前馈神经网络拓展到更广泛的网络结构，同时采用非线性随机投影的方式进行训练，并通过级联模型进一步提高分类器的鲁棒性能。在 MNIST 和 CIFAR 数据集上进行实验，证明了该方法在可证明的抗干扰错误率上有着明显的提升。

May, 2018

保障隐私保护推理的计算挑战是已知的，通过线性化神经网络激活函数中的目标部分可以显著减少运行时间，但可能导致对少数群体的准确性下降，我们提出了一种简单的细调方法来有效缓解这个问题。

Feb, 2024

本文提出 DeepReDuce 以降低 ReLU 的总数，从而减少隐私神经推理的延迟时间，保持高精度。与私有推理的最新技术相比，DeepReDuce 在等 RELUs 数量的情况下提高了精度并将 RELUs 数量降低了 3.5％，同时提高了 3.5 倍的精度。

Mar, 2021

本文介绍了一种深度学习优化方法，利用卷积块的 ReLU 敏感性，去除 ReLU 层并将其前后卷积层合并为一个浅层块，从而在不牺牲准确率的情况下，有效减少 ReLU 和线性操作，提高模型的性能及效率。

Apr, 2023

利用 ISNet 架构及 Layer-wise Relevance Propagation (LRP) 热图优化，我们提出重新构建的架构，通过最小化背景相关性，防止深度分类器决策中的背景特征影响，从而减少捷径学习并提高泛化能力。在 MNIST 数据集和 COVID-19 胸部 X 射线检测中，我们的模型在最小化背景影响和阻止捷径学习的同时，保持了高准确性，相较于其他深度神经网络架构更具准确性，这表明这些架构在训练速度上是对 ISNet 的巨大改进。

Jan, 2024