Jul, 2017

一种改进的用于岭回归的量子算法

PDF
TL;DR本文提出了一个基于并行哈密顿模拟的量子算法以及 $K$ 倍交叉验证方法来优化岭回归 (Ridge Regression) 并进行预测性能评估，该算法对于非稀疏数据矩阵具有高效处理的能力，并且对于低秩矩阵且条件数较低的数据矩阵可以实现指数级加速，但对于条件数较高的数据矩阵只能实现多项式级加速。
ridge regressionmachine learningquantum algorithmhermitian matricespredictive performance
发现论文，激发创造
  • 随机化草图用于核回归：快速和最优非参数回归

    本文研究了基于随机矩阵的核岭回归近似方法，证明了可以仅仅选择与统计维度成比例的投影维度来保持最小极值，从而实现了快速和极小极值的非参数回归估计。

    Jan, 2015

  • 基于混合量子计算的非线性回归

    该研究论文提出了一种将非线性引入量子机器学习中的方法，使用特征映射将经典数据导入到量子状态中，并基于混合量子计算机进行实现，提出了可实现著名的多项式回归和高斯核岭回归的编码方案，其处理信息效率具有指数级加速并且适用于大规模数据集。

    Aug, 2018

  • 重访线性回归的量子算法：无数据依赖参数的二次加速

    线性回归是最基本的线性代数问题之一，本研究提出了一个运行时间为 O (ε^(-1) * sqrt (n) * d^(1.5)) + poly (d/ε) 的量子算法，可以在不依赖数据相关参数的情况下，提供 n 的二次量子加速效果，同时还将结果推广到多次回归和岭线性回归。

    Nov, 2023

  • 贝叶斯超越交叉验证：通过最大化期望实现高效准确的岭回归

    提出了一种用于调整岭回归的正则化超参数 λ 的新方法，比留一法交叉验证 (LOOCV) 更快速计算，同时产生等效或更好的回归参数估计，尤其在稀疏协变量的情况下。

    Oct, 2023

  • 用基于梯度的优化方法解决核岭回归问题

    本文针对 Kernel ridge regression 方法的不足，提出了一种新的优化方法 Kernel Gradient Flow，通过引入不同于 ridge 惩罚的惩罚项，以及在训练过程中减小核函数的带宽，该方法得到了更好的结果。

    Jun, 2023

  • 带岭正则线性模型的马尔可夫边界发现

    本研究提出了一种修改后的岭回归方法，可以在减小空间的基础上识别潜在的 Markov 边界。实验结果表明，这种方法在基因表达数据的 Markov 边界发现方面具有很强的实用性。

    Sep, 2015

  • OKRidge：用于学习动态系统的可扩展最优 k - 稀疏岭回归

    论文提出了一种利用稀疏岭回归方法迅速确定支配非线性动力学系统的方程的算法，该算法在实验中取得了可证明的优化结果并且比现有的商业求解器 Gurobi 解决的 MIP 公式快几个数量级。

    Apr, 2023

  • 噪声无关情况下核岭回归的对偶分析

    我们对核岭回归的泛化性质在无噪声情况下进行了综合分析，证明了核岭回归能够达到最小最优速率，该速率取决于相关核函数的特征值衰减和目标函数的相对平滑度。

    Feb, 2024

  • 贝叶斯优化的量子高斯过程回归

    本文提出了一种基于量子核的高斯过程回归方法，并利用硬件高效特征映射和 Gram 矩阵的精细正则化，展示了量子高斯过程的方差信息可以被保留，以及它可以作为贝叶斯优化的代理模型，最后将该模型应用于机器学习模型的超参数优化，并以实际数据集为例，与经典的贝叶斯优化进行比较，展示了量子版本的性能可以匹配。

    Apr, 2023

  • 随机特征模型的隐式正则化

    本文探讨了随机特征模型和核岭回归之间的联系，并发现了有限 RF 取样的隐式正则化效应，同时对比了使用 KRR 预测器的风险和使用 RF 预测器的平均风险并获得了它们之间差异的明确界限，最终在实验中发现了平均 λ-RF 预测和 tilde λ-KRR 预测器之间的极好一致性。

    Feb, 2020