约束优化模型集成

May, 2024

Model Ensembling for Constrained Optimization

Ira Globus-Harris, Varun Gupta, Michael Kearns, Aaron Roth

TL;DR通过多调整技术和组合模型来改进多维输出预测的下游优化问题，提出了两个高效收敛的算法，并在实验中对其性能和行为进行了探索。

Abstract

There is a long history in machine learning of model ensembling, beginning with boosting and bagging and continuing to the present day. Much of this history has focused on combining models for classification and regression, but recently there is interest in more complex settings such a

model ensembling multidimensional output predictions downstream optimization multicalibration techniques convergence

发现论文，激发创造

当集成较小的模型比单个大模型更高效时

本文研究使用 ensemble 方法来提高模型性能的有效性，实验结果表明，与单个模型相比，用 ensemble 组合模型在准确率和计算效率上有更好的表现，并提出 ensemble 模型作为模型推理速度和准确性之间的灵活权衡。

May, 2020

学习集成策略的理论保证及其在时间序列预测中的应用

使用理论分析方法，我们证明了从有限或有限维族中选择最佳堆叠综合的交叉验证方法不会比最佳方案表现差得多，进一步提出了一种特定的堆叠综合族在概率预测中的应用，并通过实验结果证明了所提出方法的性能提高。

May, 2023

集成深度学习：综述

本文综述了最新的深度集成学习模型的分类和应用，并指出了未来研究的方向。

Apr, 2021

不确定性量化和深度集成

本文研究了在数据稀缺的情况下使用深度学习时，数据增强、集成学习和后处理校准方法之间的相互作用，并表明深度集成不一定会导致改进校准性能，必须进行微调后的后处理才能有效地降低标准深度集成中的预期校准误差。

Jul, 2020

集成学习何时真正有效？

研究加入集成（ensembling）技术在分类任务中的性能提升问题，证明当集成模型中错误率低于集成模型间的不同率时，在学习任务中加入集成技术可以显著提高性能。通过理论和实验的方式证明这种推论，并在实践中找出集成技术适用和不适用的情况。

May, 2023

多头多损失模型校准

提高机器学习模型的预测准确性和可靠性，本文提出了一种简化深度集成模型的方法，通过不同的误差计算方法来训练多个线性分类器，达到与成本高昂的深度集成模型相同的校准能力和良好的分类性能，适用于组织病理图像和内镜图像的分类应用。

Mar, 2023

时间序列预测的集成建模：一种自适应鲁棒优化方法

该论文提出了一种使用 Adaptive Robust Optimization 构建具有适应性权重的线性回归集成的新方法，以提高时间序列预测模型的准确性和鲁棒性，并演示了其在空气污染管理，能源消耗预测以及热带气旋强度预测等实际应用中优于其他竞争性集成技术的性能。

Apr, 2023

顺序模型基于集成优化

本文提出了一种新的基于 SMBO 和贝叶斯学习的自动构建学习模型合集的方法，实验证明其优于传统的 SMBO 方法在回归以及分类数据集上的表现。

Feb, 2014

现代自优化系统的基于集成模型的建模抽象

本文在我们的基于集成的组件模型 DEECo 中扩展了使用机器学习和优化启发式算法来建立和重新配置自主组件集合的能力。我们展示了如何在模型层次上捕捉这些概念，并举例说明这样的模型如何有益地应用于工业 4.0 环境中与访问控制相关的问题。我们认为将机器学习和优化启发式算法纳入现代智能系统是一个关键特性，使其能够在学习过程中适应环境的不确定性并优化其行为。

Sep, 2023

增强式生成模型

本文提出了一种新的无监督 boosting 方法来创建生成模型的集成，进一步允许集成包括区分真实数据和模拟生成数据的判别模型。作者证明了这种方法在一定条件下能将新模型集成进来以提升适合度，并在基准数据集上对密度估计、分类和样本生成的广泛生成模型应用中展示了黑盒 boosting 算法的有效性。

Feb, 2017