提出了一个基于梯度优化的算法，通过 ReLU 感知优化在保证预测准确性的前提下，针对私有推理的瓶颈问题实现了可选择性地进行线性化，实验结果表明，相比现有研究，该算法在提升预测准确率（50K iso-ReLU）上可达到 4.25％，或者在保证预测准确性（70％）的前提下可减少 2.2 倍的运行时间，并在延迟 - 准确性空间中不断完善。

Feb, 2022

RLNet 是一种鲁棒线性化网络，通过减少高延迟 ReLU 操作，在干净和受损图像上提高模型性能，从而在私有推理中提供改进的分类准确性，同时减少计算复杂度。

Feb, 2024

通过纠正 ReLU 激活函数等非线性因素，我们的研究提出了纠正黑盒算法偏见的新方法，有效地保护敏感数据，并在线性模型中进行正交化、在卷积神经网络中进行元数据的归一化以及在预定义的嵌入中矫正不想要的属性。

May, 2024

本论文研究神经网络训练中的隐性偏差，探究梯度流和梯度下降的极限情况下，使用对数或指数损失函数对线性可分数据进行训练的深度线性网络的权重收敛于秩 1 矩阵的现象是否会发生于全连接层和跳跃连接层的 ReLU 激活前馈网络中，提出了一些训练不变性，并以特定参数方向收敛的 ReLU 网络的常数权重和多线性函数作为论据进行证明。

Jan, 2022

该研究提出了一种敏捷的训练方法 SENet，可在保持模型分类精度的同时大幅度减少 ReLU 神经元来降低由 ReLU 操作引起的延迟，从而提高隐私推断（PI）的效率与准确性。

Jan, 2023

本文提出 DeepReDuce 以降低 ReLU 的总数，从而减少隐私神经推理的延迟时间，保持高精度。与私有推理的最新技术相比，DeepReDuce 在等 RELUs 数量的情况下提高了精度并将 RELUs 数量降低了 3.5％，同时提高了 3.5 倍的精度。

Mar, 2021

研究算法公平性和隐私在机器学习中的应用，分析了公平性对训练数据信息泄露的影响，发现公平性会牺牲一部分隐私权，特别是对弱势群体。同时，训练数据的偏差越大，为了弱势群体的公平性所付出的隐私成本也越高。

Nov, 2020

训练具有多个实体的机器学习模型，并且在没有直接数据共享的情况下，可以解决由于业务、法律或道德限制而受阻的应用。本文设计和实施了新的隐私保护机器学习协议，用于逻辑回归和神经网络模型。我们采用了两个服务器模型，在数据所有者之间进行数据密钥共享，由这两个服务器进行联合数据的模型训练和评估。现有方法中存在的低效和不准确的重要方法是使用 Yao 噪声电路来计算非线性激活函数的来源。我们提出了基于密钥共享的查找表的计算非线性函数的新方法，既提供了计算效率，又提高了准确性。此外，我们还提出了一种针对隐私保护机器学习的放宽安全措施的探索。我们认为，在计算过程中，虽然有关于查找表访问模式的一些信息被透露，但它仍然保持 epsilon-dX 隐私。利用这种放松可显著减少训练所需的计算资源。我们提出了针对这种放松安全范式量身定制的加密协议，并定义和分析泄漏。我们的评估结果表明，我们的逻辑回归协议比 SecureML 快 9 倍，神经网络训练速度比 SecureML 快 688 倍。值得注意的是，我们的神经网络在 15 个周期内在 MNIST 数据集上实现了 96.6% 的准确率，超过了以往在相同架构下准确率为 93.4% 的基准。

Mar, 2024

本文提出了一种优化私有推断的方法，将 ReLU 算子重新表示为近似符号测试，并引入了一种新的截断方法，显著降低每个 ReLU 的成本，结果节省了存储和运行时间，同时不影响准确性。

Jun, 2021

探索深度学习模型对隐私泄露的影响及规避方法，并评估不同正则化机制对防御成员推理攻击的有效性与隐私保护性。

Jun, 2020