差分审计的数据溯源
本研究提出了一种方案,用于单次训练运行的差分隐私机器学习系统的审计,利用了可以独立添加或删除多个训练样例的并行性,该审计方案利用差分隐私和统计泛化之间的联系进行分析,避免了群体隐私成本,而且对算法需求的假设极少,可在黑盒或白盒设置中应用。
May, 2023
我们在语言模型的训练中发现了数据透明性和道德风险的问题,因此我们进行了一项多学科工作,对 1800 多个文本数据集进行了系统审计和追踪。我们发展了工具和标准,以跟踪这些数据集的来源、创作者、许可条件、属性和使用情况。我们的分析突出了商业开放数据集与封闭数据集在构成和重点方面的差异,封闭数据集垄断了重要的类别。此外,我们的研究还发现了广泛使用的数据集托管网站上许可证的错误和遗漏。为了促进数据集的透明性和负责任使用,我们发布了我们的审计结果,并提供了一个交互式界面,数据溯源浏览器,让从业者可以追踪和筛选最流行的开源调整数据集的数据溯源信息:www.dataprovenance.org。
Oct, 2023
本文提出了 ADADP 算法,该算法是一种自适应且具有可证明隐私保证的学习算法,通过引入自适应噪声以及自适应学习率,显著降低了隐私成本并减轻了差分隐私对模型准确性的负面影响。ADADP 在真实数据集上的实验结果表明,它在隐私成本和模型准确性方面都优于最先进的具有差分隐私的方法。
Dec, 2019
本文提出了一种名为 “判别性对抗隐私”(DAP)的新型学习技术,该技术通过达到模型性能、速度和隐私之间的平衡来解决 DP 的局限性。DAP 依靠对抗训练,基于一种新的损失函数,该函数能够最小化预测误差并最大化 MIA 的误差。此外,我们引入了一种名为 “准确性隐私权”(AOP)的新指标来捕捉性能 - 隐私权衡。最后,为了验证我们的观点,我们将 DAP 与不同的 DP 情景进行比较,并从性能、时间和隐私保护角度分析结果。
Jun, 2023
我们的研究利用可解释的人工智能(XAI)和差分隐私(DP)之间的权衡,通过 SHapley Additive exPlanations (SHAP) 和差分隐私 (DP) 进行异常检测(AD),并对不同的模型和各种数据集进行了全面评估,结果显示,隐私保护对检测准确性和可解释性有显著影响,这取决于数据集和所考虑的异常检测模型,同时我们 还发现,AD 算法的选择也会影响解释的可视化。
Apr, 2024
提出了一种基于 Canaries 的方法,通过扩展差分隐私定义来处理随机数据集,设计随机 Canaries,然后采用 Lifted Differential Privacy 来审计,引入新的置信区间,能够显著提高样本复杂性,这一新方案在合成和实际数据上得到了验证。
May, 2023
我们提出了一种新颖的统计方法,用于在域适应(DA)下测试异常检测(AD)的结果,称为 CAD-DA -- 在 DA 下可控制的 AD。CAD-DA 的独特优势在于其能够控制在预先指定的水平 α(例如 0.05)下错误识别异常的概率。我们解决了在这个 DA 设置中需要考虑 DA 影响以确保推理结果有效性的挑战。我们的解决方案利用条件选择性推理的概念来处理 DA 的影响。据我们所知,这是第一个在 DA 背景下进行有效统计推理的工作。我们对 CAD-DA 方法在合成和真实数据集上的性能进行了评估。
Oct, 2023
介绍了一种新的混合自动微分系统,可用于推理隐私损失,并进一步开发自动灵敏度分析和隐私预算系统,在统计数据库查询和 DP 神经网络的训练中具有良好的应用前景。
Jul, 2021
通过使用模型 DNA 的概念,该论文引入了一种用于确定源模型是否服务于目标模型的模型鉴别方法,通过编码模型的训练数据和输入输出信息为一种紧凑而全面的表示,从而实现了模型鉴别的有效框架。
Aug, 2023
通过主对抗领域适应的对抗性样例检测方法(AED-PADA),针对现有检测方法在广泛应用中存在的泛化性能较差的问题提出了解决方案,通过识别主对抗领域(PAD)并利用多源领域适应实现对对抗性样例的检测,实验表明我们的方法在具有极小幅度干扰的挑战性场景中具备突出的泛化能力。
Apr, 2024