介绍了一种基于多方计算的机器学习服务（MLaaS）的方法，通过使用多项式逼近替换 ReLU 激活函数和采用单轮 MPC 协议进行评估，实现了在大型模型上快速准确的推理，从而保护客户数据隐私。

Jun, 2023

使用方形激活函数的新型深度神经网络架构 xMLP 在保持准确性和效率方面与使用 ReLU 的网络相当，在 CIFAR-100 和 ImageNet 上实验结果表明，xMLP 模型相比 ResNet 模型在激活层和参数数量较少的情况下始终表现更好。与最先进的隐私推断（PI）模型相比，xMLP 在提升了 0.58% 的准确率的同时加快了 7 倍的 PI 速度，同时在相同的 PI 延迟下还提升了 4.96% 的准确性，当将 PI 转移到 GPU 时，xMLP 比之前最先进的 PI 模型快了多达 700 倍，并具有可比较的准确性。

Mar, 2024

本文提出了一种基于核函数扩展的复数域的非参数激活函数，该函数拓展了复值神经网络中激活函数的灵活性并且可以通过矢量化硬件有效地实现。实验结果表明，相对于具有固定激活函数的复值神经网络和复值神经网络，该方法在预测和信道均衡等常用情景下得到了很好的验证。

Feb, 2018

基于结构相似性，通过将 ReLU 替换为广义投影算子，将其扩展为具有多个输入和多个输出的多元投影单元 (MPU)，证明了在表达能力方面，由 SOC 投影激活的 FNN 优于利用 ReLU 的 FNN。实验评估进一步证实了 MPU 在更广泛的现有激活函数范围内的有效性。

Sep, 2023

本研究介绍了一种轻量级的压缩技术，用于在边缘设备上进行代码的分割，仅针对深度神经网络中的激活，而且不需要任何重新训练。当应用于流行的对象检测和分类深度神经网络时，能够将 32 位浮点激活压缩到 0.6 至 0.8 位，同时保持精度损失不到 1％。

May, 2021

通过使用多项式逼近替换神经网络中的非多项式函数，并结合高精确逼近，本论文提出的多项式逼近神经网络（PANN）在实现隐私保护模型推理时与底层骨干模型具有类似的推理准确性。此外，通过对 PANN 的独立性进行调查，论文提出了提高 PANN 推理准确度的解决方案，并通过实验证明了解决方案的有效性。

Feb, 2024

研究提出了两种方法以加速安全推理技术，第一种方法取决于卷积计算中的 patch 尺寸选择，第二种方法是基于减少安全 ReLU 操作所需的比特比较数。

Apr, 2023

该研究通过比较网络激活函数 Mish 和 ReLU 在入侵检测任务上的性能，揭示了激活函数在提升入侵检测系统性能方面的有效性。

May, 2024

HummingBird 是一个 MPC 框架，通过在较小的环上仅使用部分位数对 ReLU 进行评估，显著减少通信开销，而且没有引入任何错误，平均加速比为 2.03-2.67 倍，某些情况下，可以容忍一定的准确度下降，平均加速比可达 8.64 倍，通信开销最多减少 8.76 倍。

Sep, 2023

本研究显示，采用具有修正线性单元作为激活函数的人工神经网络可以精确表示由线性时不变系统的模型预测控制的分段仿射函数。在神经网络中使用更深的网络具有特别的吸引力，因为它们可以表示比只有一个隐藏层的网络多指数个仿射区域。本研究提出了理论界限，用于决定一个神经网络必须具有的最小隐藏层数和每层神经元数，才能精确表示给定的模型预测控制规律。本方法具有成为预测控制规律的近似方法的强大潜力，可导致更好的近似质量和比以前的方法显著更小的内存需求，如模拟实例所示。我们还提出了不同的替代方案来校正或量化近似误差。由于在线评估神经网络非常简单，因此可以在存储容量较小的低功耗嵌入式设备上部署近似控制器，从而实现具有有限计算能力的复杂物理系统的先进决策制定策略。

Jun, 2018