Jun, 2019

基于分位损失函数的高维分布式回归

PDF
TL;DR本文研究了具有重尾噪声的高维线性回归模型的分布式估计和支持恢复，并采用分位数回归损失函数来处理噪声。我们提出了一种计算和通信效率高的分布式估计器，理论上表明该方法在少数迭代后即能达到近乎理想的收敛速度，并且还为支持恢复提供了理论保证。
发现论文，激发创造
  • 分布式高维分位数回归：估计效率与支持恢复

    分布式估计和支持恢复在高维线性分位数回归中具有重要意义，本文通过将原始分位数回归转化为最小二乘优化问题，并应用双平滑方法，提出了一种新的分布式方法来解决此类问题，在保证计算和通信效率的同时能够实现接近 Oracle 收敛速度和高支持恢复精度的估计结果。通过对合成实例和真实数据应用的大量实验，验证了该方法的有效性。

    May, 2024

  • 大规模应用的分位数回归

    提出一种随机算法来处理大规模数据量的分位数回归问题，该算法在近线性时间内计算给定分位数回归问题的（1+ϵ）近似解，并计算量子回归损失函数的低失真子空间保持嵌入。

    May, 2013

  • 重尾巴下的损失最小化和参数估计

    该论文研究了一种简单估计技术在重尾分布下提供指数集中性的应用和推广，证明该技术可用于平滑强凸损失函数的近似最小化，特别是在最小二乘线性回归、稀疏线性回归和低秩协方差矩阵估计中具有类似的特征。

    Jul, 2013

  • 在异常值存在的情况下，使用 Beta 分位回归进行鲁棒估计不确定性

    基于鲁棒分位数回归和深度学习的方法，在关键特征异常值存在的情况下，提出了用于估计不确定性的方法，并在医学成像翻译任务中展示了其适用性。

    Sep, 2023

  • 在分布式学习中管理重尾梯度的改进量化策略

    我们提出了一种专门针对重尾梯度进行压缩的新方案，该方案将梯度截断和量化有效地结合在一起，并在通信受限的分布式随机梯度下降框架中进行了巧妙实现，我们通过理论分析和与其他基准的比较实验证明了该方法在管理分布式学习环境中的重尾梯度方面的有效性。

    Feb, 2024

  • 基于梯度量化和方差约束的随机分布式学习

    研究了分布式优化问题，在量化梯度、降低方差的基础上，提出新的缩短收敛时间的方法，实现了对于任意量化梯度的线性收敛，解决了弱凸和非凸问题，并在实验中验证了其效率优于传统方法。

    Apr, 2019

  • 快速校准的加性分位数回归

    该研究提出了一种新的框架，用于拟合添加量分位回归模型，提供关于条件分位数的精确推断和平滑参数的快速自动估计，适用于多样化的模型结构，同时保持数值效率和稳定性。

    Jul, 2017

  • 超越 Pinball Loss：分位数方法用于校准不确定性量化

    本文提出了新的分位数方法，可以适用于任何回归模型，并允许在校准和锐度之间进行权衡，优化中心区间的校准度，并产生更准确的条件分位数。

    Nov, 2020

  • 基于近似线性排抽样的分位数回归算法

    提出了行采样算法，适用于各种损失函数的行采样算法，降低数据维度的采样复杂度，并应用于分位数回归和有向图稀疏化问题。

    Jun, 2020

  • 基于保序化的分位数回归

    本文介绍了一种新的预测方法，将 Conformal prediction 和经典的 quantile regression 相结合，使其完全适应异方差性，并且能够在不做分布假设的情况下，建立具有有效覆盖率的预测区间，相比其他 conformal 方法，本文提出的方法具有更高的效率和更短的预测区间。

    May, 2019