使用公共数据的最优局部私有非参数分类

Nov, 2023

使用公共数据的最优局部私有非参数分类

Optimal Locally Private Nonparametric Classification with Public Data

Yuheng Ma, Hanfang Yang

TL;DR在本研究中，我们通过公共数据辅助的非交互式 LDP（局部差分隐私）学习，重点研究非参数分类问题。在后验漂移假设下，我们首次推导了在 LDP 约束下的极小极大收敛速度。然后，我们提出了一种新颖的方法，即局部隐私分类树，它达到了极小极大收敛速度。此外，我们设计了一种数据驱动的修剪程序，避免了参数调整，并产生了一个快速收敛的估计器。对合成和真实数据集进行的全面实验证明了我们提出方法的卓越性能。无论是我们的理论发现还是实验结果都证明了与私有数据相比，公共数据的有效性，并提出了优先考虑非私有数据收集的实际建议。

Abstract

In this work, we investigate the problem of public data-assisted non-interactive LDP (Local Differential Privacy) learning with a focus on non-parametric classification. Under the posterior drift assumption, we f

public data-assisted non-interactive ldp learning non-parametric classification locally private classification tree data-driven pruning procedure public data

发现论文，激发创造

使用公共特征的本地隐私估计

本文首次探索在公共特征下的局部差分隐私（LDP）学习，提出半特征 LDP 概念，证明了半特征 LDP 下的非参数回归的最小最大收敛速度明显降低，然后介绍了 HistOfTree 估计器，完全利用公共和私有特征信息，在理论上实现最小最大收敛速度，实证结果表明 HistOfTree 在合成数据和真实数据中达到了优越性能，同时还探讨了用户手动选择保护特征的情况，在这种情况下，提出了一个估计器和数据驱动的参数调整策略，导致了类似的理论和实证结果。

May, 2024

非私有和私有数据的速率最优分类

在本文中，我们重新审视了分类的经典问题，但施加了隐私约束。在此约束下，无法直接观察原始数据（X1，Y1），…，（Xn，Yn），并且所有的分类器都是合适的本地差分隐私机制的随机结果的函数。统计学家可以自由选择这种隐私机制的形式，在这里，我们向每个特征向量 Xi 的位置和其标签 Yi 的离散化添加了拉普拉斯分布的噪声。分类规则是经过隐私保护的版本的良好研究分区分类规则。除了标准的 Lipschitz 和边距条件之外，还引入了一种新的特征，通过该特征可以计算出分类误差概率的精确收敛速率，无论是针对非私有数据还是私有数据。

Dec, 2023

基于公共数据的差分隐私学习的 Oracle 高效实现

通过利用公共数据来提高私人学习算法的性能，本研究提出了第一种具有计算有效性的算法，以确保在满足与私人样本相关的差分隐私的同时，当私人数据分布足够接近公共数据时也能保证学习效果，并且在函数类可非私密学习时可进行私人学习的证明。

Feb, 2024

利用公共数据的最优差分隐私学习

利用公共数据改善差分隐私模型的训练效果的方法。

Jun, 2023

本地差分隐私：教程

本文针对 LDP 算法在隐私、统计计算和大数据等领域的应用，介绍了不同 LDP 算法在本地程序用户隐私保护、重要数据识别和空间数据收集等问题上的实现并探讨了其未来发展方向。

Jul, 2019

具有异构分布式差分隐私约束的非参数回归的最优联邦学习

该论文研究了在分布式样本中进行非参数回归的联邦学习，其中每个样本服务器都遵守不同的差分隐私约束。在考虑到不同服务器的变化样本大小和差分隐私约束的异构设置中，该论文同时考虑了全局和逐点估计，并建立了在 Besov 空间上的收敛最优速率。通过提出分布式隐私保护估计器并研究其风险性质，该论文还建立了匹配的极小下界，对于全局和逐点估计，在对数因子上与之相符。这些发现揭示了统计准确性与隐私保护之间的权衡，特别是在整个隐私框架中分发数据所带来的损失，除了隐私预算之外。这种洞察力捕捉到了在更大的样本中更容易保持隐私的民间智慧，并探索了在分布式隐私约束下逐点估计和全局估计之间的差异。

Jun, 2024

自适应在线贝叶斯频率分布估计与局部差分隐私

我们提出了一种新颖的贝叶斯方法，用于局部差分隐私 (LDP) 框架下有限类别频率分布的自适应在线估计，并通过后验抽样进行贝叶斯参数估计，使基于获得的后验样本调整 LDP 的随机化机制。我们提出了一种基于随机化机制的 LDP，它使用类别子集作为输入，并且其性能取决于所选择的子集和真实频率分布。通过使用后验样本作为频率分布的估计，算法执行可计算子集选择步骤，以最大化下一个用户的隐私响应效用。我们提出了几个与著名信息度量相关的效用函数，如 Fisher 信息矩阵、总变差距离和信息熵。我们比较了每个效用度量在计算复杂度方面的差异。我们采用随机梯度 Langevin 动力学进行后验抽样，这是一种计算高效的近似马尔可夫链蒙特卡洛方法。我们提供了理论分析，证明了算法所针对的后验分布收敛于真实参数，即使进行了近似后验抽样；如果进行了精确的后验抽样，算法将具有高概率选择出最佳子集。我们还提供了数值结果，通过在不同隐私参数和人群分布参数的实验设置下与非自适应和半自适应方法进行比较，经验证明了我们算法的估计精确性。

May, 2024

近似最优差分隐私强化学习

本研究提出一种基于差分隐私约束条件的在线探索强化学习算法，该算法达到了非隐私算法的信息理论下限，同时利用隐私发布噪音技术获得了隐私保护，解决了个性化医疗等隐私数据应用中数据使用安全的问题。

Dec, 2022

具有差分隐私约束的联邦非参数假设检验：最优速率和自适应测试

本研究聚焦于分布式差分隐私条件下联邦非参数拟合优度测试，证明了最小极小分离率的匹配下界和上界，并观察到有趣的相变现象，还发现具备共享随机性的分布式一次性协议在性能上优于没有共享随机性的协议，同时提出一种适应未知规律参数的数据驱动测试过程，能够在各类函数集合上实现最小附加成本，并保持对相同差分隐私约束的遵守。

Jun, 2024

多方数据隐私学习

本文提出了一种如何从不同方的私有数据中构建准确的差分隐私全局分类器的方法，即通过从辅助非标记数据创建标记数据，然后训练全局的差分隐私分类器来转移本地分类器集成的 “知识”，我们通过从集成估计的类概率加权的新风险进行了解决。我们的解决方案相对于非私有解决方案具有 O (ε^-2M^-2) 的广义误差界限，其中 M 为参与方的数量。

Feb, 2016