Jan, 2024

差分隐私切片逆回归：极小极大优化和算法

PDF
TL;DR在高维数据分析中，隐私保护已成为一个关键问题，Li (1991) 提出的切片逆回归技术作为一种广泛应用的统计技术，用于降低协变量维度并保持足够的统计信息。本文提出了专门针对充分维度减少情况下隐私问题的最优差分隐私算法，并建立了在低维和高维环境中差分隐私切片逆回归的下界。此外，我们开发了能够在对数因子范围内达到极小化界限的差分隐私算法。通过模拟和实际数据分析的结合，我们展示了这些差分隐私算法在保护隐私的同时在降维空间内保留重要信息的有效性。作为自然延伸，我们也可以提供差分隐私稀疏主成分分析的类似下界和上界，这也可能引起统计学和机器学习领域的兴趣。
privacy preservationsliced inverse regressiondifferentially private algorithmsdimension reductionsparse principal component analysis
发现论文，激发创造
  • 差分隐私简单线性回归

    通过使用差分隐私，我们在小型数据集的情况下训练针对经济研究的简单线性回归的算法，在不牺牲数据隐私的情况下获得较高的性能。

    Jul, 2020

  • 广义线性模型中的隐私成本：算法与极小极大下界

    使用构建的差分隐私版本的梯度下降算法，针对低维和高维稀疏广义线性模型提出参数估计，通过表征统计学性能和建立 GLMs 的隐私约束极小值下界来显示所提算法的近乎速率最优性。

    Nov, 2020

  • 隐私成本：具有差分隐私的参数估计的最佳收敛速率

    探讨平衡标准误差和隐私保护之间的关系，提出了最小化极限风险下的差分隐私约束的算法，包括隐私迭代硬阈值追踪，以及在实际数据集中表现出的数值表现。

    Feb, 2019

  • 差分隐私中的近似最优性

    本文介绍了差分隐私中的两种实例优化概念，并提出了一种补充试点机制，称为反敏感机制，可针对一类估计量进行实例优化。此外，这些机制在多个函数类别的每个实例上都可以优于平滑敏感性框架。

    May, 2020

  • 非共轭模型的差分隐私变分推断

    本文提出一种差分隐私变分推理方法，该方法基于双重随机变分推理，并通过剪辑和扰动梯度来加入差分隐私，并通过子采样来增加隐私保护的效率。该方法在强隐私保证下的准确性接近于非私密级别，是以前基于抽样方法的替代品的明显改进。

    Oct, 2016

  • Minimax Filter: 学习保护隐私免受推断攻击

    本文提出了一种基于 minimax filter 的机制来保护连续和高维属性的隐私，该方法能更好地抵御后推攻击，并通过实验验证了其在面部表情分类、语音情感分类和活动分类等多种实际任务中的优越性。

    Oct, 2016

  • 惩罚约束似然的差分隐私模型选择

    本文主要研究如何将差分隐私的保护机制融入多元线性回归建模中，并提出了一种基于惩罚最小二乘估计和随机化的算法来实现此目标，该算法在最优化时更加敏感于参数的选择，但保证了与非差分隐私的程序同样的一致性。

    Jul, 2016

  • 关于利用差分隐私和经典正则化技术进行优化的效用与保护

    该文探讨了在深度学习模型中如何保护训练数据的隐私，比较了不同优化方法对模型性能、训练效果和隐私攻击的影响，并确定了 dropout 和 l2 正则化作为较优秀的隐私保护方法。

    Sep, 2022

  • 更好的隐私线性回归通过更好的隐私特征选择

    本文提出了一种基于 Kendall 秩相关的差分隐私特征选择方法，扩展了不同隐私线性回归算法的适用性，并证明了在特征正态分布时的效用保证。经过对 25 个数据集的实验，发现在回归之前添加此私有特征选择步骤显著地提高了 “即插即用” 隐私线性回归算法的适用性，同时几乎不增加终端用户的隐私、计算或决策成本。

    Jun, 2023

  • 线性查询以外的私有乘性权重

    本研究介绍了一种在保护数据隐私的前提下解决机器学习中凸函数最小化问题的方法，特别是针对线性问题给出了一种算法，扩展到了敏感数据集上的凸函数最小化问题并解决了指数级别的问题。

    Jul, 2014