加密加速最小二乘回归

Mar, 2017

Encrypted accelerated least squares regression

Pedro M. Esperança, Louis J. M. Aslett, Chris C. Holmes

TL;DR本文中，我们提出了详细的分析方法，并证明了使用全同态加密方案下的数据对最小二乘和惩罚岭回归模型进行拟合的可行性，其中梯度下降算法在加密计算速度方面表现优异，并且理论结果也被证明可以确保解密的正确性，从而展示了使用加密数据近似传统统计回归方法的可能性，而不会泄露隐私。

Abstract

Information that is stored in an encrypted format is, by definition, usually not amenable to statistical analysis or machine learning methods. In this paper we present detailed analysis of coordinate and accelerated gradient descent algorithms which are capable of fitting least squares

fully homomorphic encryption gradient descent algorithms least squares penalized ridge regression privacy

发现论文，激发创造

加速随机梯度下降算法用于最小二乘回归

本文研究加速随机梯度方法在最小二乘回归问题中的应用，通过对加速随机梯度下降作为随机过程的深入分析，证明了引入加速能够使其对统计误差具有鲁棒性，并提出了一种优于随机梯度下降的加速随机梯度方法。

Apr, 2017

鲁棒回归再探：加速与改进的估计速率

本文主要介绍了在强污染模型下进行统计回归问题的快速算法，其中使用了鲁棒梯度下降框架，并提出了更快、更有效的算法来加速最优化过程。

Jun, 2021

普通最小二乘回归的更快、更好、更坚强的收敛速率

提出一种基于平均加速正则梯度下降的算法，通过细化初值和 Hessian 矩阵的假设，最优地优化回归问题，并证明其在偏差与方差之间具有最优性、大数据时初始化影响可达到 O（1/n2）以及对于维度 d 的依赖程度为 O（d/n）。

Feb, 2016

在加密领域中使用核技巧加速数据分析

利用核心方法对同态加密方案进行有效加速，以在加密领域内提高机器学习和统计算法的时间性能，降低代价昂贵的同态加密乘法，并实现对数据分析的高级功能。

Jun, 2024

非强凸最小二乘问题的加速随机梯度下降

本文提出了一种基于加速梯度下降的新随机逼近算法，该算法在非强凸情况下取得了最佳预测误差率，并在加速遗忘初始条件方面达到了最优效果，同时在算法的平均迭代次数和最终迭代次数上均提供了收敛结果，该算法还在无噪声环境下提供了一个匹配下界，展示了我们算法的最优性。

Mar, 2022

差分隐私简单线性回归

通过使用差分隐私，我们在小型数据集的情况下训练针对经济研究的简单线性回归的算法，在不牺牲数据隐私的情况下获得较高的性能。

Jul, 2020

基于拟牛顿方法的垂直联邦学习框架用于逻辑回归

研究垂直联邦学习结构用于逻辑回归，建立在同态加密方案之上的拟牛顿方法可解决交流困境，能够显著降低交流轮数，并且在每轮中，附加的沟通成本较少。

Dec, 2019

投影梯度下降法的快速低秩估计：广义统计和算法保证

通过矩阵分解和投影梯度下降算法解决约束最优化问题，提供了一种通用理论框架，当给定适当的初始化时，可以几何级数地收敛到具有统计意义的解，适用于许多具体模型。

Sep, 2015

非凸统计估计中的隐式正则化：梯度下降在相位恢复、矩阵补全和盲源分离问题中线性收敛

研究非凸优化问题中梯度下降算法的隐式正则化特性，证明在多种统计模型中，梯度下降算法在没有显式正则化的情况下也能够实现正则化，并在相位恢复、低秩矩阵补全和盲反卷积等三个基本统计估计问题中实现近乎最优的统计和计算保证。

Nov, 2017

线性回归的私有梯度下降：更紧凑的误差界限和特定实例的不确定性估计

我们对标准差分隐私梯度下降方法在线性回归中的分析进行了改进，得出基于输入的合理假设，在每个时间步骤上迭代的分布特征。我们的分析结果揭示了算法的准确性新的发现：对于适当选择的超参数，样本复杂度仅与数据维度呈线性关系。这与（非私有）普通最小二乘估计器以及依赖于复杂的自适应梯度裁剪方案的最新私有算法（Varshney 等，2022 年；Liu 等，2023 年）的维度相关性一致。我们对迭代分布的分析还允许我们构建适应特定数据集算法的方差的置信区间。我们通过对合成数据进行实验证实了我们的定理。

Feb, 2024