- KDDHyperboost: 通过梯度增强替代模型进行超参数优化
本研究提出了一种基于梯度提升的代理模型,并使用分位数回归来提供未观察到的超参数设置的性能的乐观估计,同时结合未观察到和观察到的超参数设置之间的距离度量来帮助调节探索。经实证表明,该方法能够在一系列分类问题中优于一些最新的技术。
- 利用机器学习进行次季气候预测:挑战、分析与进展
通过研究不同的机器学习方法,包括梯度提升和深度学习等,对美国本土的次季气候预测(SSF)进行了研究,发现通过精细构建特征表示方法,即使是简单的线性回归模型,如 Lasso,都可以取得良好的表现。期望通过研究特征的重要性,实现对气候和土地等协 - 梯度提升神经网络:GrowNet
该论文提出了一种新颖的梯度提升框架,其中浅层神经网络被用作 “弱学习器”,该框架考虑了一般的损失函数,并针对分类、回归和排序学习提供了具体的示例。该模型通过完全修正步骤纠正了经典梯度提升决策树贪婪函数逼近的缺陷,并在多个数据集上的三项任务中 - 高效前向式结构搜索
本文提出了一个神经架构搜索算法 Petridish,用于随着现有网络层的迭代添加快捷连接。其利用加入的快捷连接在增强的层上有效地执行梯度增强。文中所提出的算法受到特征选择算法前向逐步线性回归的启发,因为我们将 NAS 视为回归的特征选择的泛 - CatBoost:支持分类特征的梯度提升
本文介绍了一种新的机器学习技术 ——CatBoost,它可以成功地处理分类特征,成为了一个开源梯度提升库, 在一系列的数据集上表现出了优秀的性能,并且使用 GPU 实现了学习算法和 CPU 实现了评估算法,比其他相似规模的梯度提升库更快。
- ICML自动梯度提升
本文提出了一种基于梯度提升和自动超参数调整的自动机器学习框架 (autoxgboost),与目前的 AutoML 项目进行了比较,并在 16 个数据集上取得了可比较的结果和两个最佳表现。
- 基于监督分区的局部可解释模型和效果 (LIME-SUP)
本文提出了基于树状结构的局部解释机器学习模型方法 LIME-SUP,相较于基于聚类 KLIME 方法,LIME-SUP 具有更好的解释性,并且在实证研究中表现更优。
- 最新符号回归方法的大型基准研究:现状如何?
本研究对最近遗传规划、符号回归以及机器学习方法在回归问题中的表现进行了广泛的基准测试,并且发现在性能和准确度上,符号回归具有非常强的竞争力,但在运行时间上较缓慢,因此提出了符号回归在机器学习领域推广可能面临的问题。
- ICCVBIER 强化独立嵌入的深度度量学习
本文研究了深度神经网络中图像对的相似性函数的学习方法,通过利用嵌入集合中的独立性来提高嵌入的鲁棒性,并借助在线梯度提升问题来划分深度网络的最后嵌入层。通过提出两个损失函数来增加集合的多样性,可用于权重初始化过程或训练期间,对图像检索任务的评 - NIPS树形提升:梯度提升树桩和完整决策树之间的联系
本文介绍了一种新的技术 —— 树结构提升,可以用单一决策树产生等效于分类和回归树或梯度增强桩的模型,并且可以在两种方法之间生成混合模型。此技术不仅为高风险应用(如医学)提供了模型可解释性和预测性能,而且可以优于这两种方法。
- 梯度提升优化
本文针对一种最先进的预测技术 —— 梯度提升方法,通过解决无限维凸优化问题,顺序地生成一个由简单预测器(通常为决策树)的线性组合构成的模型。我们对两个广泛使用的梯度提升版本进行了彻底的分析,并从函数优化的角度引入了一个通用框架来研究这些算法 - 提升变分推断
提出了一种新的算法 Boosting Variational Inference(BVI),它基于渐进的计算,能够捕捉多模态、一般后验协方差和非标准后面形状,并且使用一个更灵活的逼近族,包括所有可能的有限混合一个参数基础分布(例如高斯)。
- ICML边缘、收缩和提升
本文研究表明,通过固定小常数缩放步长选择,AdaBoost 及其直接变体可以产生近似的最大间隔分类器,同时对于梯度提升的优化过程提供了保证和提高了保证的方法。这些结果适用于指数损失和类似损失,尤其是逻辑损失。