Jun, 2024

复合分位数回归与使用新的反正切损失的 XGBoost

PDF
TL;DR本文探讨了 XGBoost 在复合分位数回归中的应用，提出了一种平滑逼近的 arctan pinball 损失函数，其相对较大的二阶导数使其更适合于 XGBoost 的二阶逼近优化方法，可同时预测多个分位数，更高效且减少了分位数交叉问题。
xgboostcomposite quantile regressionloss functionarctan pinball lossquantile crossings
发现论文，激发创造
  • 超越 Pinball Loss：分位数方法用于校准不确定性量化

    本文提出了新的分位数方法，可以适用于任何回归模型，并允许在校准和锐度之间进行权衡，优化中心区间的校准度，并产生更准确的条件分位数。

    Nov, 2020

  • 利用损失针来估计条件分位数

    本研究通过建立不等式来描述近似的 pinball 风险最小化器与相应条件分位数之间的接近程度，再利用这些不等式建立了所谓的方差界，并利用两种类型的不等式来证明使用 pinball 损失函数的支持向量机的 Oracle 不等式，从而实现了最小 - 最大下限对某些标准规定的条件分位数的正则性假设。

    Feb, 2011

  • 快速校准的加性分位数回归

    该研究提出了一种新的框架，用于拟合添加量分位回归模型，提供关于条件分位数的精确推断和平滑参数的快速自动估计，适用于多样化的模型结构，同时保持数值效率和稳定性。

    Jul, 2017

  • 移动地球销球器损失：直方图值回归的分位数

    本文提出一种基于深度学习的直方图回归方法，它包含交叉区间信息并产生可能直方图的分布，并将针球损失应用于累积直方图中以获得新的损失函数，该函数在预测中位数直方图的准确度上类似于标准的 Earth Mover's distance (EMD)。（$\tau=0.5$），并将其推广到任意分位数。

    Jun, 2021

  • 分位极值梯度提升用于不确定性量化

    本研究通过对 Extreme Gradient Boosting (XGBoost) 的改进，使用修正后的分位数回归作为目标函数以估计不确定性 (QXGBoost)，并将其应用于预测间隔的创建，并将其应用于一个模拟数据集和一个实际环境数据集中的测量交通噪声，结果表明该方法在预测间隔方面的整体性能要优于其他基于覆盖范围准则的模型。

    Apr, 2023

  • 基于分位损失函数的高维分布式回归

    本文研究了具有重尾噪声的高维线性回归模型的分布式估计和支持恢复，并采用分位数回归损失函数来处理噪声。我们提出了一种计算和通信效率高的分布式估计器，理论上表明该方法在少数迭代后即能达到近乎理想的收敛速度，并且还为支持恢复提供了理论保证。

    Jun, 2019

  • 一种新的平滑损失和惩罚函数，用于通过深度神经网络进行非交叉复合分位数估计

    本文提出了一种新的平滑损失及惩罚函数的神经网络方法，用于解决智能电力系统中风能等可再生能源的概率预测问题中遭遇的分位数交叉问题，实证研究结果表明该方法可以有效提高风力发电预测的准确性。

    Sep, 2019

  • 从损失函数中分离分位数表示

    本文中，我们介绍了一种同时二元分位数回归（SBQR）的技术，可以独立于损失函数构建分位表示，对于检测越界样本和校准模型等问题具有优越性。

    Apr, 2023

  • 高维线性回归在 Lq - 球上的极小极大估计率

    本文研究了标准线性回归模型的极小极大收敛速度，证明在合适的设计矩阵正则化条件下，最小值误差在 $L_2$-，$L_{oldsymbol r}$- 损失和 $L_{oldsymbol 2}$- 预测损失内达到了收缩速度。同时，我们提供了 $L_{oldsymbol r}$- 范数的极小极大风险下限。

    Oct, 2009

  • 通过偏导数实现深层非交叉分位数

    本文提出一种基于深度学习的通用算法，用于预测任意数量的分位数，并确保分位数单调性约束，达到机器精度，并在实验中获得最先进的结果，同时证明其可扩展性适用于大规模数据集。

    Jan, 2022