在机器学习领域中,数据可能包含称为特权信息(PI)的附加属性,特权信息的主要目的是辅助模型训练,并利用所获得的知识对未知样本进行预测。支持向量回归(SVR)是一种有效的回归模型,然而由于解决一对约束下的凸二次问题(QP),它的学习速度较低。相比之下,双支持向量回归(TSVR)比 SVR 更高效,因为它解决了两个分别受一组约束的 QP。然而,TSVR 及其变种仅在常规特征上进行训练,不使用特权特征进行训练。为了填补这一空白,我们引入了特权信息与学习的 TSVR 融合,并提出了一种名为特权信息双支持向量回归(TSVR+)的新方法。所提出的 TSVR + 中的正则化项捕捉了统计学习理论的本质,并实现了结构风险最小化原则。我们使用过度放宽(SOR)技术来解决提出的 TSVR + 的优化问题,从而增强了训练效率。据我们所知,将特权信息的概念集成到双变量回归模型中是一种新的进展。对 UCI、股票和时间序列数据进行的数值实验证明了所提出模型的优越性。
Dec, 2023
研究向量分位数回归模型及其解决优化输运问题的能力,探讨其在未正确规定情况下的解决方案,说明该模型在解决单变量情况下叶克弗(Koenker)与巴塞特(Bassett)经典方法的等价性,同时还提供其它详细的结果。
Oct, 2016
运用最优输运理论和 $c$- 凹函数的思想,我们有意义地定义了高维空间流形上的条件向量分位函数(M-CVQFs),从而实现了流形上多元分布的分布自由估计、回归及条件置信集计算。通过初步的合成数据实验,展现该方法的功效和关于非欧几里德分位数的含义的一些见解。
Jul, 2023
本文提出了条件向量分位函数和向量分位回归的概念。向量分位回归是一种针对给定协变量的条件向量分位函数的线性模型。该模型嵌入了著名的 Monge-Kantorovich 最优运输问题作为其核心的特殊情况。我们考虑了多重 Engel 曲线估计的应用。
Jun, 2014
本文中,我们介绍了一种同时二元分位数回归(SBQR)的技术,可以独立于损失函数构建分位表示,对于检测越界样本和校准模型等问题具有优越性。
Apr, 2023
通过开发稀疏量化方法,我们的研究在多个领域中不断提升了基准模型的性能,实现了最先进的结果。
分布式估计和支持恢复在高维线性分位数回归中具有重要意义,本文通过将原始分位数回归转化为最小二乘优化问题,并应用双平滑方法,提出了一种新的分布式方法来解决此类问题,在保证计算和通信效率的同时能够实现接近 Oracle 收敛速度和高支持恢复精度的估计结果。通过对合成实例和真实数据应用的大量实验,验证了该方法的有效性。
May, 2024
本文提出一种基于深度学习的通用算法,用于预测任意数量的分位数,并确保分位数单调性约束,达到机器精度,并在实验中获得最先进的结果,同时证明其可扩展性适用于大规模数据集。
Jan, 2022
本文研究了具有重尾噪声的高维线性回归模型的分布式估计和支持恢复,并采用分位数回归损失函数来处理噪声。我们提出了一种计算和通信效率高的分布式估计器,理论上表明该方法在少数迭代后即能达到近乎理想的收敛速度,并且还为支持恢复提供了理论保证。
Jun, 2019
利用量子支持向量机和变分量子线性求解器,我们提出了一种用于处理分类问题的新颖方法,并在 Noisy Intermediate Scale Quantum (NISQ) 设备上进行了全面的数值实验,通过构建一个分类器,实现从一个到七个维度的特征空间的分类。
Sep, 2023