差分隐私学习需要更好的特征（或许更多数据）

ICLRNov, 2020

差分隐私学习需要更好的特征（或许更多数据）

Differentially Private Learning Needs Better Features (or Much More Data)

Florian Tramèr, Dan Boneh

TL;DR在许多经典视觉任务中，使用不同 ially private 机器学习还没有达到其 'AlexNet 时刻 '：对于手工特征训练的线性模型，其在中等隐私预算下的性能明显优于端到端的深度神经网络。为了超越手工特征的表现，我们展示私人学习要么需要更多私人数据，要么需要访问从相似领域的公共数据学到的特征。我们的工作引入了简单但强大的基线，用于不同 ially private 学习，这可以指导未来在这一领域的进展评估。

Abstract

We demonstrate that differentially private machine learning has not yet reached its "AlexNet moment" on many canonical vision tasks: linear models trained on handcrafted features significantly outperform end-to-e

differentially private machine learning linear models deep neural networks privacy budgets public data

发现论文，激发创造

深度学习与差分隐私

本论文提出新的算法技术，包括隐私成本的细化分析，并在差分隐私框架下进行。实验结果表明：我们可以在较小的隐私成本下训练具有非凸目标的深度神经网络，而且在软件复杂性、训练效率和模型质量上具有可管理的成本。

Jul, 2016

训练知道自己不知道什么的私有模型

通过研究选择性分类器在差分隐私约束下的效果，探讨深度学习模型的可靠性及隐私泄漏问题，发现最近的一种基于现成的深度学习模型生成检查点的方法在差分隐私下更为合适，使用差分隐私不仅会降低模型的效能，而且在隐私预算降低时需要付出相当大的覆盖成本。

May, 2023

深度学习差分隐私模型发布

提出了一种基于集中差分隐私的神经网络训练方法，通过动态隐私预算分配和新的优化技术来提高模型准确性、训练效率和隐私保护能力。

Apr, 2019

差分隐私深度生成模型的统一视角

利用不同隐私保护方法在深度神经网络上进行私密训练，以实现维度较高的数据生成，并提出统一的方法以提供系统性的派生方法，满足不同用例的需求，探讨不同方法之间的优势、限制和内在相关性以启发未来研究，并提出前进的潜在途径以推动隐私保护学习领域的发展。

Sep, 2023

具有差分隐私的模型解释

使用差分隐私机制构建基于特征的模型解释，降低解释数据隐私泄露，评估差分隐私模型及其隐私机制对模型解释质量的影响。

Jun, 2020

解锁差分隐私图像分类的准确度与公平性

预训练的基础模型经差分隐私微调可在下游任务中实现接近非隐私分类器的准确性，并且在四个数据集中实现与非隐私技术的准确性相差不多，包括两个医学成像基准数据集。此外，我们的隐私医学分类器在不同人口群体之间没有更大的性能差异。此里程碑使得差分隐私训练成为一项实用且可靠的技术，有潜力广泛应用于敏感数据的安全机器学习训练，同时保护个人隐私。

Aug, 2023

利用梯度衍生的度量对不同 ially private 训练中的数据选择和估值进行优化

研究了如何在严格保护隐私的情况下，利用梯度信息来选择有利于模型训练的数据，解决在协同训练深度学习模型中，难以区分出有用数据点的问题。

May, 2023

具有部分私有特征的分类

本研究提出了一种新颖的 AdaBoost 算法，用于在部分特征敏感的条件下实现差分隐私分类，其隐私证明更简单且具有可比拟或更高的准确性，并可适应所有特征敏感的经典情景。

Dec, 2023

实用差分隐私的三种工具

在实际数据中进行差分隐私学习存在挑战：隐私保证难以解释，对私有数据进行的超参数调整会降低隐私预算，通常需要进行特殊的隐私攻击来测试模型的隐私性。本文提出了三种工具来使差分隐私机器学习更加实用：（1）可在训练前以集中方式进行的简单的健全性检查，（2）自适应裁剪边界来减少可调隐私参数的有效数量，（3）大批量训练可以提高模型性能。

Dec, 2018

使用公共特征的私密学习

研究一类私有学习问题，其中数据是私有特征和公共特征的联接。针对多编码器模型中的公共特征，开发了新的算法以仅保护某些足够统计量，从而实现了线性回归的保证效用改进，并在两个标准的私有推荐基准上达到了最先进的水平，证明了适应私有 - 公共特征分离的方法的重要性。

Oct, 2023