Mar, 2018

重新审视差分隐私线性回归：无界域中的最优自适应预测和估计

PDF
TL;DR本文研究了在差分隐私约束下的线性回归问题，恢复了特征、标签和系数域在优化误差和估计误差中的正确依赖性，并提出了两种简单修改的差分隐私算法：后验采样和充足统计扰动，并展示它们可升级为能针对每个实例利用数据相关量并行为几乎最优的自适应算法。作者在 36 个数据集上进行了广泛的实验，结果表明两种自适应算法优于现有技术。
linear regressiondifferential privacystatistical learningoptimization erroradaptive algorithms
发现论文，激发创造
  • 具有理论保证的差分隐私域自适应

    通过使用一种新的优化问题来训练，本文提出了两种隐私保护的监督适应算法，分别适用于具有线性预测器的回归和非凸但利普希兹平滑的损失函数，并且在实验中表明这两种算法的效果表现优于基线算法。

    Jun, 2023

  • 私有随机非凸优化：自适应算法和更紧的泛化界

    研究不同 ially private (DP) 算法在随机非凸优化中的应用，通过提供对私有梯度法的分析，提出了 DP RMSProp 和 DP Adam 等最佳算法来达成更快的收敛速度，在两个流行的深度学习任务中，证明了 DP 自适应梯度法比标准的 DP SGD 更具有优势。

    Jun, 2020

  • 差分隐私简单线性回归

    通过使用差分隐私，我们在小型数据集的情况下训练针对经济研究的简单线性回归的算法，在不牺牲数据隐私的情况下获得较高的性能。

    Jul, 2020

  • 隐私成本：具有差分隐私的参数估计的最佳收敛速率

    探讨平衡标准误差和隐私保护之间的关系，提出了最小化极限风险下的差分隐私约束的算法，包括隐私迭代硬阈值追踪，以及在实际数据集中表现出的数值表现。

    Feb, 2019

  • OLS 随机投影的隐私 - 效用权衡

    我们研究了差分隐私（DP）在核心机器学习问题线性最小二乘（OLS）上的应用，发现了 ALS 算法作为 OLS 问题的随机化解决方案能够提供更好的隐私和效用平衡，同时我们提供了 ALS 算法和 OLS 中标准高斯机制的第一个紧密差分隐私分析。

    Sep, 2023

  • 个性化差分隐私的岭回归

    个性化差分隐私机器学习：使用个人数据点隐私级别训练 Ridge 回归模型的方法 (PDP-OP)，在提供严格隐私保证和模型准确性的前提下，改善差分隐私中的隐私 - 准确性平衡。

    Jan, 2024

  • 重访差分隐私回归：从学习理论中得到的经验教训及其影响

    通过差分隐私和稳定学习理论的显式连接，提出了一种更好的隐私 / 实用性权衡方法，以便为所有凸型 Lipschitz 有界学习任务获得更好的权衡，并将其应用在医疗数据上，以获得更准确的模型。但改进后的隐私机制使得不同隐私机制更容易受到模型反演攻击的影响。

    Dec, 2015

  • 基于分布鲁棒优化的差分隐私

    本文利用分布式鲁棒优化技术，开发了一种机制设计模型，以实现最高准确度和隐私预选级别的非渐近和无条件最优性保证。

    Apr, 2023

  • 带辅助信息的私有自适应优化

    AdaDPS 是一种通用的框架，使用非敏感侧面信息对梯度进行预处理，可以在私有环境中有效地使用自适应方法，降低噪音所需的数量，从而改善优化性能。在大规模文本和图像基准测试中，相对于强基线，AdaDPS 平均提高了 7.7％（绝对）的准确度，实现了最先进的隐私效用权衡。

    Feb, 2022

  • 隐私随机凸优化：在线性时间的最优收敛率

    本文提出两种新的不同 ially private 的方法，实现了凸优化的最优解，使用较少的梯度计算，同时需要对数据有轻度平滑性的假设。

    May, 2020