DPNAS: 带有差分隐私的深度学习神经架构搜索
本文旨在探究如何使用差分隐私来训练机器学习模型,以 ImageNet 图像分类为例,展示如何使用方法和模型类型来让训练过程更好地进行。我们展示了一些方法,使我们能够使用 DP 来训练一个 ResNet-18,精度为 47.9%。虽然这比 “朴素” 的 DP 训练要好,但是离没有隐私的情况下的 75%精度还有很大的差距。
Jan, 2022
使用安全多方计算方法构建隐私保护的神经架构搜索框架,其中使用重新设计的 ReLU 和 Max-pooling 保混乱电路以及对秘密共享的 Softmax 函数的新替代方法,分析和实验表明其在安全性,效率和准确性方面具有优越性。
Apr, 2022
本论文提出新的算法技术,包括隐私成本的细化分析,并在差分隐私框架下进行。 实验结果表明:我们可以在较小的隐私成本下训练具有非凸目标的深度神经网络,而且在软件复杂性、训练效率和模型质量上具有可管理的成本。
Jul, 2016
通过在真实和合成数据集上不同隐私水平下进行隐私 - 效用权衡和通过成员推断攻击进行审计,从医疗领域的人口图中启动对不同 ially 静态图神经网络的经验调查。我们的发现强调了此特定 DP 应用领域的潜力和挑战。此外,我们通过显示图同质度的程度与训练模型准确度之间的相关性,发现底层图结构构成更大性能差距的潜在因素。
Jul, 2023
本文提出了一种名为 “判别性对抗隐私”(DAP)的新型学习技术,该技术通过达到模型性能、速度和隐私之间的平衡来解决 DP 的局限性。DAP 依靠对抗训练,基于一种新的损失函数,该函数能够最小化预测误差并最大化 MIA 的误差。此外,我们引入了一种名为 “准确性隐私权”(AOP)的新指标来捕捉性能 - 隐私权衡。最后,为了验证我们的观点,我们将 DAP 与不同的 DP 情景进行比较,并从性能、时间和隐私保护角度分析结果。
Jun, 2023
本研究将差分隐私算法和尖峰神经网络相结合,提出了差分隐私尖峰神经网络 (DPSNN) 来实现强隐私保护和高准确性的权衡。实验结果表明,相较于人工神经网络,DPSNN 在隐私保护方面的表现不变,在精度有所提升。
May, 2022
该研究论文提出了一种新的可微分架构搜索方法,通过分布学习问题来加以实现,并将连续松弛的架构混合权重视为随机变量,以 Dirichlet 分布进行建模,通过路径导数优化 Dirichlet 参数,并采用渐进学习方案消除了不同 iable NAS 的大内存消耗,在 CIFAR-10、ImageNet 和 NAS-Bench-201 等几个数据集上取得了最先进的结果。
Jun, 2020
神经架构搜索被广泛应用于各种计算机视觉任务,其中不可微分神经架构搜索是其中一个有前景的子领域。然而,基于梯度的方法受到离散化误差的影响,从而严重损害了获取最终架构的过程。我们的工作首次研究了离散化误差的风险,并展示了如何影响非规则化超网络。为了增强 DNAS 框架的鲁棒性,我们引入了一种新的单阶段搜索协议,不依赖于解码连续架构。我们的结果表明,这种方法在 Cityscapes 验证数据集的搜索阶段达到了 75.3% 的性能,并且在包含短连接的非稠密搜索空间上比 DCNAS 的最佳网络性能高 1.1%。整个训练过程只需 5.5 个 GPU 天,由于权重重用,获得了计算效率高的架构。此外,我们提出了一种新的数据集分割过程,大大提高了结果并防止了 DARTS 中架构退化。
May, 2024