逻辑回归的遗忘素描
该论文探讨了在不同的损失函数下,对于 $k$- 稀疏线性回归的随机抽样方法以及其误差上界,其中包括了稀疏的逻辑回归和 ReLU 回归等损失函数,并且给出了相应的维度约束条件。
Apr, 2023
提出了一种通用方法,可将数值线性代数中的随意草图解决方案应用于数据点的张量,从而根据多项式内核函数的大小开发了第一个仅在目标维度上具有多项式依赖性的多项式内核的忽略草图,并且无需因输入数据维数而遭受指数依赖。
Sep, 2019
提供了高效的算法来解决超定的线性回归问题,其中损失函数是对称范数(在符号反转和坐标置换下不变的范数),当损失函数为 Orlicz 范数时,算法产生一个 (1+ε)- 近似解,在输入稀疏时间内改进了先前已知的算法。
Oct, 2019
在统计学和机器学习领域,逻辑回归是一种广泛应用于二分类任务的监督学习技术。本研究提出一种基于随机抽样的简单算法,针对逻辑回归问题,确保对模型的预测概率和整体差异都能得到高质量的近似。研究分析了当采用杠杆得分对观测数据进行抽样时,逻辑回归的预测概率的属性,并证明可以通过样本规模远小于总观测数据量来实现准确的近似。通过全面的实证评估验证了我们的理论发现,研究为在大规模数据集上高效近似逻辑回归的预测概率提供了实用和计算高效的解决方案。
Feb, 2024
论文使用单一的凸优化程序分别对于噪声的一位非压缩感知和稀疏二项回归进行精确估计。作者展示,使用简单的凸优化程序,可以从单位比特量度中精确地估计在 R ^ n 中的 s 稀疏信号。
Feb, 2012
考虑了只观察到少量标签时,寻找 l1 回归的近似解的问题。我们表明,根据其 Lewis 权重对 X 进行采样并输出经验最小化器可在概率 1-δ 下成功地进行,其中 m>O(1/ε²dlog (d/εδ))。我们还给出了相应的下界。
May, 2021
从数据中有效地学习 Ising 模型的底层参数是我们重新审视的问题。我们展示了一种基于逐节点逻辑回归的简单现有方法在多种新颖环境下能成功地恢复底层模型的参数,包括从本地 Markov 链动态生成的数据、自旋玻璃的 Sherrington-Kirkpatrick 模型以及 M - 数据和对抗性 Glauber 动态的学习。这种方法在不修改算法的情况下显著扩展了 Wu, Sanghavi 和 Dimakis 的优雅分析。
Nov, 2023
本文提出了一种分布式加速线性回归的方法,通过使用随机化草稿技术和改善异步系统中的顽固者韧性来确保安全性,同时应用随机齐次正交矩阵和子采样块来安全获取信息和减少回归问题的维度。
Aug, 2023
提出一种多项式算法,其中通过删除数据点和减少步骤,可以实现与最优解的期望 $(1+d/n)$ 接近度,从而达到在减少标签复杂度的情况下,实现紧密近似。
May, 2023