利用公共的表示进行私有的迁移学习

Dec, 2023

利用公共的表示进行私有的迁移学习

Leveraging Public Representations for Private Transfer Learning

Pratiksha Thaker, Amrith Setlur, Zhiwei Steven Wu, Virginia Smith

TL;DR通过实证研究公共数据如何融入差分隐私学习并从公共数据中学习共享表示，我们理论上研究了共享表示如何改进私有学习，并探索了线性回归中的两种常见迁移学习场景，结果帮助了解公共数据在不同私有迁移学习中的益处。

Abstract

Motivated by the recent empirical success of incorporating public data into differentially private learning, we theoretically investigate how a shared representation learned from →

differentially private learning transfer learning linear regression low-rank subspace public data

发现论文，激发创造

使用公共特征的私密学习

研究一类私有学习问题，其中数据是私有特征和公共特征的联接。针对多编码器模型中的公共特征，开发了新的算法以仅保护某些足够统计量，从而实现了线性回归的保证效用改进，并在两个标准的私有推荐基准上达到了最先进的水平，证明了适应私有 - 公共特征分离的方法的重要性。

Oct, 2023

隐私学习子空间

该研究探讨了差分隐私算法如何应用于低维线性子空间，以发现数据的低维结构并尽可能避免在隐私或准确性方面的代价。

May, 2021

隐私保护预测

探讨在分类和回归等多种模型中，为实现个体预测隐私保护所需的成本，以及通过训练多个模型并使用标准的聚合技术来预测，以降低聚合步骤引入的开销，并建立所有不同隐私预测算法的强广义保证，从而研究机器学习中差分隐私的最优样本调整量。

Mar, 2018

拥有公共数据访问权限的私有学习限制

讨论私人和公共学习示例的差异隐私问题，证明可通过公共样本数为 $d/\alpha$ 和私有标记样本数为 $d/\alpha^2$ 实现平均误差为 $\alpha$ 的 VC-dimension $d$ 假设类别的免疫性学习，提出与之相匹配的下界。

Oct, 2019

基于多个预训练模型的线性回归表示迁移学习

本文提出了一种基于表示转移的学习方法来构建目标模型，该方法包括利用不同源表示构建适应目标数据的表示以及使用获得的模型作为细调过程的初始化，从而为线性回归提供了一种可行的迁移学习框架。

May, 2023

差分隐私元学习

通过在元学习中应用参数传递的方法，对参数传递算法中的隐私问题进行研究，提出一种新的差分隐私算法，并在联邦学习和少样本分类领域表现出了很好的性能。

Sep, 2019

共享表示的分布式多任务学习

研究了在多个机器学习一个未知的低维子空间中具有共享表示的分布式多任务学习问题，通过高效通信的方法来利用共享结构。

Mar, 2016

更好的隐私线性回归通过更好的隐私特征选择

本文提出了一种基于 Kendall 秩相关的差分隐私特征选择方法，扩展了不同隐私线性回归算法的适用性，并证明了在特征正态分布时的效用保证。经过对 25 个数据集的实验，发现在回归之前添加此私有特征选择步骤显著地提高了 “即插即用” 隐私线性回归算法的适用性，同时几乎不增加终端用户的隐私、计算或决策成本。

Jun, 2023

PrivNet：保护推荐算法中的私有特征的迁移学习

本文提出了采用对抗训练的方式保护源域隐私的方法，在保护源域隐私前提下，通过转移学习提高目标域推荐系统的表现，实验证明该模型能够成功的保护源域隐私.

Oct, 2020

隐私微调的有选择预训练

介绍了一种通用框架，用于解决训练文本预测模型的问题，实现用户数据的隐私保护和固定大小以满足内存和推理时间要求，主要利用区分隐私的预训练和 fine-tune，优化模型交迁和达到高效压缩。

May, 2023