高效稀疏最小绝对偏差回归与差分隐私

Jan, 2024

高效稀疏最小绝对偏差回归与差分隐私

Efficient Sparse Least Absolute Deviation Regression with Differential Privacy

Weidong Liu, Xiaojun Mao, Xiaofei Zhang, Xin Zhang

TL;DR本文提出了一种用于稀疏鲁棒回归问题的快速隐私保护学习解决方案，其中学习损失包括鲁棒最小绝对值损失和 $l_1$ 稀疏惩罚项。为了快速解决给定隐私预算下的非光滑损失，我们开发了一种名为 FRAPPE 的算法，通过将稀疏 LAD 问题重新表述为带惩罚的最小二乘估计问题，并采用三阶段噪声注入来保证 $(\epsilon,\delta)$- 差分隐私。实验证明，与现有隐私保护回归算法相比，我们的算法在隐私和统计准确性的权衡上取得了更好的性能。

Abstract

In recent years, privacy-preserving machine learning algorithms have attracted increasing attention because of their important applications in many scientific fields. However, in the literature, most privacy-preserving algorithms demand learning objectives to be strongly convex and Lip

privacy-preserving machine learning robust regression sparse penalty term frappe algorithm $(\epsilon,\delta)$-differential privacy

发现论文，激发创造

近似最优差分隐私强化学习

本研究提出一种基于差分隐私约束条件的在线探索强化学习算法，该算法达到了非隐私算法的信息理论下限，同时利用隐私发布噪音技术获得了隐私保护，解决了个性化医疗等隐私数据应用中数据使用安全的问题。

Dec, 2022

OLS 随机投影的隐私 - 效用权衡

我们研究了差分隐私（DP）在核心机器学习问题线性最小二乘（OLS）上的应用，发现了 ALS 算法作为 OLS 问题的随机化解决方案能够提供更好的隐私和效用平衡，同时我们提供了 ALS 算法和 OLS 中标准高斯机制的第一个紧密差分隐私分析。

Sep, 2023

差分隐私经验风险最小化：高效算法和严格误差界

本文为凸经验风险最小化问题提供了一系列不同的差分隐私算法，并同时给出了相应的下界，且不同的隐私模型需要使用完全不同的算法，这些算法在多项式时间内运行，并且适用于很多简单光滑的函数家族。

May, 2014

局部差分隐私模型中稀疏线性回归的改进分析

在本文中，我们重新考虑了局部差分隐私（LDP）模型下稀疏线性回归的问题。我们提出了一种创新的非交互式局部差分隐私（NLDP）算法，该算法在数据服从亚高斯分布的情况下，为估计误差提供了上界，并且在服务器有额外公开但未标记数据的情况下，误差上界可以进一步提高。我们还研究了序贯交互式 LDP 模型，并发现了非私有情况、中心差分隐私模型和局部差分隐私模型在稀疏线性回归问题上的基本差异。

Oct, 2023

个性化差分隐私的岭回归

个性化差分隐私机器学习：使用个人数据点隐私级别训练 Ridge 回归模型的方法 (PDP-OP)，在提供严格隐私保证和模型准确性的前提下，改善差分隐私中的隐私 - 准确性平衡。

Jan, 2024

自适应差分隐私经验风险最小化

本文提出了一种自适应的（随机）梯度扰动方法用于差分隐私经验风险最小化，在每次迭代中将添加的随机噪声优化适应于步长；我们将这个过程称为自适应差分隐私（ADP）学习。通过相同的隐私预算，我们证明了 ADP 方法相比于加入香草随机噪音的标准差分隐私方法，可以显著提高实用保证性能。我们的方法特别适用于具有时间变化学习率的基于梯度的算法，包括 AdaGrad（Duchi 等，2011）的变体。我们进行了大量的数字实验，以展示所提出的自适应差分隐私算法的有效性。

Oct, 2021

差分隐私简单线性回归

通过使用差分隐私，我们在小型数据集的情况下训练针对经济研究的简单线性回归的算法，在不牺牲数据隐私的情况下获得较高的性能。

Jul, 2020

重访差分隐私回归：从学习理论中得到的经验教训及其影响

通过差分隐私和稳定学习理论的显式连接，提出了一种更好的隐私 / 实用性权衡方法，以便为所有凸型 Lipschitz 有界学习任务获得更好的权衡，并将其应用在医疗数据上，以获得更准确的模型。但改进后的隐私机制使得不同隐私机制更容易受到模型反演攻击的影响。

Dec, 2015

通过鲁棒均匀收敛研究最小绝对偏差回归的查询复杂度

本文提出了一个新框架来分析回归问题中的重要抽样方法，证明了最小绝对偏差回归的查询复杂度为 $\Theta (d/\epsilon^2)$，并拓展了技术来展示任何 $ \ell_p$ 损失（$p\in (1,2)$）的查询复杂度的第一个下界以及引入了鲁棒均匀收敛的概念，建立了统计学习理论和随机优化中方差降低技术之间的新联系。

Feb, 2021

平滑目标高效的私有 ERM

本文综述了不同凸且光滑目标函数的梯度下降算法与输出扰动方法，不仅能达到近乎最优的效用，而且也提高了以前的隐私优化算法的运行时间。同时，对于非凸光滑目标函数，还提出了 RRPSGD 算法，并附上了隐私保障的收敛性证明。实验表明，我们的算法在效益和运行时间方面始终优于现有方法。

Mar, 2017