使用符合量化回归优化超参数
该论文提出了一种基于深度核网络的深度学习模型元学习的方法来进行超参数优化的 Few-shot 学习,相比于传统的贝叶斯优化算法在多个元数据集上取得了新的最优结果。
Jan, 2021
本研究提出了一种基于梯度提升的代理模型,并使用分位数回归来提供未观察到的超参数设置的性能的乐观估计,同时结合未观察到和观察到的超参数设置之间的距离度量来帮助调节探索。经实证表明,该方法能够在一系列分类问题中优于一些最新的技术。
Jan, 2021
本文介绍了一种新的预测方法,将 Conformal prediction 和经典的 quantile regression 相结合,使其完全适应异方差性,并且能够在不做分布假设的情况下,建立具有有效覆盖率的预测区间,相比其他 conformal 方法,本文提出的方法具有更高的效率和更短的预测区间。
May, 2019
通过将非一致性得分与高斯过程的后验标准差加权,提出了构建自适应交叉一致性预测区间的方法,这些预测区间具有类似于贝叶斯可信区间的适应性水平,并且在没有基础模型假设的情况下具有频率覆盖保证,可以用于评估高斯过程代理模型的质量,并帮助决策者选择最适合特定应用的最佳先验。
Jan, 2024
本文介绍了一种使用 Tree-structured Parzen Estimators 采样策略和训练带异质噪声的 Gaussian Process Regression 元模型的多目标超参数优化方法,具有更好的超体积指标表现,并考虑到模型评估的不确定性。
Sep, 2022
采用拟贝叶斯优化的框架,通过利用简单的局部回归和随机化先验构建来量化不确定性,并保证收敛性,有效地优化高维度的综合实验、超参数调整和机器人应用的例子中胜过最先进的基准测试。
Oct, 2023
本研究提出了将 CP 与 QR 结合的预测推理程序,通过对输入协变量作回归来实现对分位函数的预测,借此推出具有本地经验保证的自适应预测间隔,并且证明了与现有方法相比具有相似的效率。
Apr, 2023
本文提出了一种基于量子核的高斯过程回归方法,并利用硬件高效特征映射和 Gram 矩阵的精细正则化,展示了量子高斯过程的方差信息可以被保留,以及它可以作为贝叶斯优化的代理模型,最后将该模型应用于机器学习模型的超参数优化,并以实际数据集为例,与经典的贝叶斯优化进行比较,展示了量子版本的性能可以匹配。
Apr, 2023
利用模型性能预测与提前停止方法相结合,加速深度学习模型的超参数优化过程,通过 Swift-Hyperband 算法在高性能计算环境中测试,发现它在高能物理、计算机视觉和自然语言处理等领域的各种目标模型中找到相当好的超参数,且使用较少的计算资源。
Nov, 2023
提出了一种通过元代理模型来解决超参优化问题中的样本不足和较大问题实例计算昂贵的方法,该模型结合了概率编码器和多任务模型,可生成成本低廉且逼真的诸如感兴趣问题类别的任务,表明在样本生成模型上进行超参数优化方法的基准测试,可以比使用原始任务快几个数量级地得出更一致和具有统计显著性的结论。
May, 2019