使用公共特征的私密学习

Oct, 2023

Private Learning with Public Features

Walid Krichene, Nicolas Mayoraz, Steffen Rendle, Shuang Song, Abhradeep Thakurta...

TL;DR研究一类私有学习问题，其中数据是私有特征和公共特征的联接。针对多编码器模型中的公共特征，开发了新的算法以仅保护某些足够统计量，从而实现了线性回归的保证效用改进，并在两个标准的私有推荐基准上达到了最先进的水平，证明了适应私有 - 公共特征分离的方法的重要性。

Abstract

We study a class of private learning problems in which the data is a join of private and public features. This is often the case in private personalization tasks such as recommendation or ad prediction, in which

private learning public features multi-encoder models utility improvement private recommendation benchmarks

发现论文，激发创造

利用公共的表示进行私有的迁移学习

通过实证研究公共数据如何融入差分隐私学习并从公共数据中学习共享表示，我们理论上研究了共享表示如何改进私有学习，并探索了线性回归中的两种常见迁移学习场景，结果帮助了解公共数据在不同私有迁移学习中的益处。

Dec, 2023

具有部分私有特征的分类

本研究提出了一种新颖的 AdaBoost 算法，用于在部分特征敏感的条件下实现差分隐私分类，其隐私证明更简单且具有可比拟或更高的准确性，并可适应所有特征敏感的经典情景。

Dec, 2023

隐私保护预测

探讨在分类和回归等多种模型中，为实现个体预测隐私保护所需的成本，以及通过训练多个模型并使用标准的聚合技术来预测，以降低聚合步骤引入的开销，并建立所有不同隐私预测算法的强广义保证，从而研究机器学习中差分隐私的最优样本调整量。

Mar, 2018

更好的隐私线性回归通过更好的隐私特征选择

本文提出了一种基于 Kendall 秩相关的差分隐私特征选择方法，扩展了不同隐私线性回归算法的适用性，并证明了在特征正态分布时的效用保证。经过对 25 个数据集的实验，发现在回归之前添加此私有特征选择步骤显著地提高了 “即插即用” 隐私线性回归算法的适用性，同时几乎不增加终端用户的隐私、计算或决策成本。

Jun, 2023

具有公共项目特征的私有矩阵分解

利用公共物品特征在训练中，通过基于搜集矩阵分解的方法，可以有效缓解使用不同隐私保护技术训练的推荐模型的品质损失。

Sep, 2023

差分隐私学习需要更好的特征（或许更多数据）

在许多经典视觉任务中，使用不同 ially private 机器学习还没有达到其 'AlexNet 时刻 '：对于手工特征训练的线性模型，其在中等隐私预算下的性能明显优于端到端的深度神经网络。为了超越手工特征的表现，我们展示私人学习要么需要更多私人数据，要么需要访问从相似领域的公共数据学到的特征。我们的工作引入了简单但强大的基线，用于不同 ially private 学习，这可以指导未来在这一领域的进展评估。

Nov, 2020

基于公共数据的差分隐私学习的 Oracle 高效实现

通过利用公共数据来提高私人学习算法的性能，本研究提出了第一种具有计算有效性的算法，以确保在满足与私人样本相关的差分隐私的同时，当私人数据分布足够接近公共数据时也能保证学习效果，并且在函数类可非私密学习时可进行私人学习的证明。

Feb, 2024

拥有公共数据访问权限的私有学习限制

讨论私人和公共学习示例的差异隐私问题，证明可通过公共样本数为 $d/\alpha$ 和私有标记样本数为 $d/\alpha^2$ 实现平均误差为 $\alpha$ 的 VC-dimension $d$ 假设类别的免疫性学习，提出与之相匹配的下界。

Oct, 2019

测试时个性化隐私审计和优化

本文探讨了在重要领域（如辅助法律、银行、招聘和医疗抉择的学习模型），是否需要全部的输入特征才能在测试时返回准确的预测，并表明在个性化的环境下，每个人仅需要发布一小部分的这些特征就能保证系统准确度不受影响。研究显示，在一些学习任务中，个体只需提交不到总数据的 10％即可确保与使用完整信息的模型同样准确。同时，本文还提供了一个高效的序列算法来选择哪些属性应由每个个体提供。

Jan, 2023

训练知道自己不知道什么的私有模型

通过研究选择性分类器在差分隐私约束下的效果，探讨深度学习模型的可靠性及隐私泄漏问题，发现最近的一种基于现成的深度学习模型生成检查点的方法在差分隐私下更为合适，使用差分隐私不仅会降低模型的效能，而且在隐私预算降低时需要付出相当大的覆盖成本。

May, 2023