训练具有多个实体的机器学习模型，并且在没有直接数据共享的情况下，可以解决由于业务、法律或道德限制而受阻的应用。本文设计和实施了新的隐私保护机器学习协议，用于逻辑回归和神经网络模型。我们采用了两个服务器模型，在数据所有者之间进行数据密钥共享，由这两个服务器进行联合数据的模型训练和评估。现有方法中存在的低效和不准确的重要方法是使用 Yao 噪声电路来计算非线性激活函数的来源。我们提出了基于密钥共享的查找表的计算非线性函数的新方法，既提供了计算效率，又提高了准确性。此外，我们还提出了一种针对隐私保护机器学习的放宽安全措施的探索。我们认为，在计算过程中，虽然有关于查找表访问模式的一些信息被透露，但它仍然保持 epsilon-dX 隐私。利用这种放松可显著减少训练所需的计算资源。我们提出了针对这种放松安全范式量身定制的加密协议，并定义和分析泄漏。我们的评估结果表明，我们的逻辑回归协议比 SecureML 快 9 倍，神经网络训练速度比 SecureML 快 688 倍。值得注意的是，我们的神经网络在 15 个周期内在 MNIST 数据集上实现了 96.6% 的准确率，超过了以往在相同架构下准确率为 93.4% 的基准。

Mar, 2024

分布式优化和学习中的隐私保护方法进行了综述，介绍了密码学、差分隐私等技术，并提出利用差分隐私算法来确保隐私和优化准确性，在多个机器学习问题中得到实际应用验证。同时探讨了该研究领域的挑战和未来方向。

Feb, 2024

该文探讨了在深度学习模型中如何保护训练数据的隐私，比较了不同优化方法对模型性能、训练效果和隐私攻击的影响，并确定了 dropout 和 l2 正则化作为较优秀的隐私保护方法。

Sep, 2022

在隐私保护机器学习领域中，差分隐私随机梯度下降（DP-SGD）已经超过了目标扰动机制在流行度和兴趣方面。这篇论文通过更严格的隐私分析和新的计算工具对目标扰动机制进行改进，使其在无约束的凸广义线性问题上能够与 DP-SGD 具有竞争力。

Dec, 2023

对于隐私敏感的卖家数据，我们研究了在其上执行逻辑回归的问题。通过向卖家提供激励性的支付，目标是设计一个机制，可优化测试损失、卖家隐私和支付的加权组合，即在多个感兴趣的目标之间找到平衡。我们通过结合博弈论、统计学习理论和差分隐私的思想来解决该问题。买家的目标函数可以是高度非凸的。但是，我们证明，在问题参数的某些条件下，可以通过使用变量的变换使问题变为凸问题。当卖家数量变大时，我们还提供了描述买家的测试误差和支付的渐近结果。最后，我们通过将这些思想应用于真实的医疗数据集来进行验证。

Sep, 2023

采用最坏情况下的对数损失最小化方法将公平性标准纳入分布鲁棒性的第一原则，并基于此原则推导出一种新的分类器，该方法具有凸性和渐近收敛性，并在三个基准公平数据集上展示了其实践优势。

Mar, 2019

本文提出了一种稀疏逻辑回归的差分隐私方法，该方法利用非隐私 LASSO 逻辑回归模型确定使用的非零系数的数量来进行最终的模型选择，从而保持硬零，实验结果表明该方法在合成和真实数据集上表现良好。

Apr, 2023

此研究旨在通过一个预训练模块提高 DP-ML 模型，特别是逻辑回归模型的准确性，通过在没有隐私问题的公共训练数据集上对模型进行首次训练，然后通过 DP 逻辑回归和私有数据集对模型进行微调，数值结果显示，增加预训练模块显著提高了 DP 逻辑回归的准确性。

Jul, 2023

介绍了一种名为 CodedPrivateML 的机器学习模型训练方法，该方法保护数据和模型的隐私并允许分布式训练，并实验表明其在逻辑回归方面的收敛效果以及相比基于多方计算 (MPC) 的密码学方法有重大速度提升。

Feb, 2019

研究垂直联邦学习结构用于逻辑回归，建立在同态加密方案之上的拟牛顿方法可解决交流困境，能够显著降低交流轮数，并且在每轮中，附加的沟通成本较少。

Dec, 2019