ICMLMay, 2024

分布式高维分位数回归：估计效率与支持恢复

PDF
TL;DR分布式估计和支持恢复在高维线性分位数回归中具有重要意义，本文通过将原始分位数回归转化为最小二乘优化问题，并应用双平滑方法，提出了一种新的分布式方法来解决此类问题，在保证计算和通信效率的同时能够实现接近 Oracle 收敛速度和高支持恢复精度的估计结果。通过对合成实例和真实数据应用的大量实验，验证了该方法的有效性。
发现论文，激发创造
  • 基于分位损失函数的高维分布式回归

    本文研究了具有重尾噪声的高维线性回归模型的分布式估计和支持恢复，并采用分位数回归损失函数来处理噪声。我们提出了一种计算和通信效率高的分布式估计器，理论上表明该方法在少数迭代后即能达到近乎理想的收敛速度，并且还为支持恢复提供了理论保证。

    Jun, 2019

  • 大规模应用的分位数回归

    提出一种随机算法来处理大规模数据量的分位数回归问题，该算法在近线性时间内计算给定分位数回归问题的（1+ϵ）近似解，并计算量子回归损失函数的低失真子空间保持嵌入。

    May, 2013

  • 在异常值存在的情况下，使用 Beta 分位回归进行鲁棒估计不确定性

    基于鲁棒分位数回归和深度学习的方法，在关键特征异常值存在的情况下，提出了用于估计不确定性的方法，并在医学成像翻译任务中展示了其适用性。

    Sep, 2023

  • 高效强多项式算法用于分位数回归

    本文提出了针对 Quantile Regression 的多个高效确定性和随机多项式算法，连接到 k 集的几何概念和随机分治算法，分别解决了二维和多维 Quantile Regression 问题。

    Jul, 2023

  • 一种用于非光滑规则化的经验风险最小化的分布式拟牛顿算法

    提出了一种使用二阶信息进行通信和计算效率高的分布式优化算法来解决具有非平滑正则化项的 ERM 问题。该算法使用逐步二次逼近法，并描述了如何在分布式方式下有效地维护 Hessian 的逼近并解决子问题。该方法适用于广泛的非强凸问题，具有全局线性收敛性，需要更低的通信复杂度。同时，该方法可以收敛于非凸问题，因此具有在深度学习等应用中使用的潜力。初步的计算结果表明，该方法在凸问题上显著提高了通信成本和运行时间，超越了现有技术的方法。

    Mar, 2018

  • 记忆约束下的分位数回归

    本文研究基于有限内存约束的大样本分位数回归问题，提出一种计算效率高的分位数回归估计方法，实现多轮聚合即可得到与所有数据计算分位数回归一样的效果，并适用于分布式计算环境和实时数据处理。

    Oct, 2018

  • 基于近似线性排抽样的分位数回归算法

    提出了行采样算法，适用于各种损失函数的行采样算法，降低数据维度的采样复杂度，并应用于分位数回归和有向图稀疏化问题。

    Jun, 2020

  • 卫星降水的空间插值中的不确定性估计与集成学习

    在空间插值和其他领域中，通过使用九种基于分位数的集成学习方法，将距离加权卫星降水数据与位置高程相结合，通过对比量化打分函数，证明了堆叠方法在提高概率预测方面的潜力。

    Mar, 2024

  • 对异常数据鲁棒的回归的高效算法

    本文首次给出了一个多项式时间算法，用于在示例和标签中对抗性堕落下执行线性或多项式回归，并基于 SoS 方法提出了一种自然的凸松弛方法来解决非凸优化问题。

    Mar, 2018

  • 重尾巴下的损失最小化和参数估计

    该论文研究了一种简单估计技术在重尾分布下提供指数集中性的应用和推广，证明该技术可用于平滑强凸损失函数的近似最小化，特别是在最小二乘线性回归、稀疏线性回归和低秩协方差矩阵估计中具有类似的特征。

    Jul, 2013