本研究提出了一种私有永久预测模型来解决传统私有模型中样本复杂度高的问题,其中预测是替代假设的,用来回答一系列分类查询,并使用预测修改假设,同时考虑对训练集和 (自适应选择的) 查询的隐私保护,而在 PAC 模型中提供通用建设,有效预测所有具有有限 VC 维的概念类,无论是有限域还是无限域。
May, 2023
本文旨在研究关于隐私合成数据生成的算法框架,提出了两种新的算法:私有熵投影(PEP)和具有指数机制的生成网络(GEM),这些算法表现出比现有算法更好的性能。
Jun, 2021
介绍一种基于深度集成网络的边缘 Pareto 剪枝模型 (MBPEP),其采用独特的损失函数使子学习者可用于标准梯度下降学习,通过多项实验分析表明 MBPEP 实现了高质量不确定性估计,适用于具有未知分布数据集的实际问题,且在多任务问题上具有良好的学习性能。
Feb, 2019
探讨在分类和回归等多种模型中,为实现个体预测隐私保护所需的成本,以及通过训练多个模型并使用标准的聚合技术来预测,以降低聚合步骤引入的开销,并建立所有不同隐私预测算法的强广义保证,从而研究机器学习中差分隐私的最优样本调整量。
Mar, 2018
本文提出一种新颖、计算有效的算法来进行预测推断,其对数据没有分布假设,并且可以比基于引导类型的神经网络方法更快地计算。
Jun, 2023
本文提出了一种算法 Gradient Embedding Perturbation(GEP),针对训练深度学习模型时巨大的可训练参数导致 Differential Privacy(DP)机制失效的问题,通过将个体私有梯度投影到非敏感锚定子空间,并将低维梯度嵌入和小范数残差梯度分别按照隐私预算扰动,以使扰动方差保持小,从而在保持合理隐私保障的同时,实现了高精度的训练(特别是在 CIFAR10 和 SVHN 数据集上)达到了 74.9% 和 95.1% 的测试精度)。
Feb, 2021
通过利用已公开训练的编码器从私有数据中提取特征并生成代表嵌入空间中每个私有类的差异化隐私原型,DPPL 提供了高效预测和强隐私保证,即使在纯差分隐私概念下,也能在高隐私和低数据环境以及私有训练数据不平衡时表现出优秀性能。
Jun, 2024
通过研究选择性分类器在差分隐私约束下的效果,探讨深度学习模型的可靠性及隐私泄漏问题,发现最近的一种基于现成的深度学习模型生成检查点的方法在差分隐私下更为合适,使用差分隐私不仅会降低模型的效能,而且在隐私预算降低时需要付出相当大的覆盖成本。
通过对公共 LLM 输出分布周围的集合投影,并对投影分布进行平均和抽样,PMixED 提供了基于模型预测的差分隐私保护方法,比样本级隐私更可靠,并在大规模数据集上胜过 DP-SGD。
Mar, 2024
公共数据辅助差分隐私算法的限制和能力研究,重点研究带有标记或无标记的公共数据的随机凸优化问题,通过建立 PA-DP 均值估计的新的下界,展示了算法的风险上限及最优策略,同时研究了未标记公共样本在隐私监督学习中的应用,并给出了广义线性模型的高效算法及其下界,最后将结果推广到具有有限胖碎片维度的一般假设类,涉及神经网络和非欧几里得几何的应用。