无需可微分优化的决策导向学习: 学习局部优化的决策损失
通过将优化问题表示为元变量的线性组合,我们学习了大规模优化问题的低维代理模型。通过端到端地训练低维代理模型和预测模型,我们实现了训练和推断时间的大幅减少,同时通过关注优化中的重要变量和在更平滑的空间中学习来提高性能。
Jun, 2020
本文提出了基于噪声对比法的伪损失函数方法和解决缓存方案的方法,以优化组合优化问题的预测和优化方法中的训练时间和准确性的平衡。实验证明,该方法在计算成本的一小部分之内即可与现有技术匹配。
Nov, 2020
该研究通过采用分布预测和采用得分函数渐近梯度估计来计算预测模型的决策焦点更新,以拓宽决策焦点学习的适用性,从而有效地应对两阶段随机优化问题。
Jul, 2023
通过使用可学习的景观代理(Landscape Surrogate)作为优化器的替代品,可以在学习集成优化中加速优化过程,提供相对稠密和平滑的梯度,在合成问题和真实世界问题中实现优化目标,同时降低对优化器的调用次数,并在计算复杂度高的高维问题上优于现有方法。
Jul, 2023
决策导向学习是机器学习中的新兴范式,通过训练模型来优化决策,在一个端到端的系统中集成预测和优化。本研究论文全面回顾了决策导向学习领域,深入分析了整合机器学习和优化模型的各种技术,引入了决策导向学习方法的分类体系,还对这些方法进行了广泛的实证评估,并提出了适用于决策导向学习的基准数据集和任务。最后,本研究提供了关于当前和潜在未来决策导向学习研究领域的有价值见解。
Jul, 2023
DF2是第一个专门设计用于解决模型失配误差、样本平均近似误差和梯度近似误差的分布无关的决策导向学习方法。通过在训练过程中直接学习预期的优化函数,我们采用基于注意力机制的模型架构来高效地进行数据驱动型学习。我们在合成问题、风力发电竞标问题和非凸性疫苗分配问题上评估了DF2的有效性。
Aug, 2023
优化模型中的不确定参数通过预测估计,为了评估基于预测的决策质量,决策焦点学习旨在通过训练预测模型来最小化后悔,提出了三种更接近预期后悔的鲁棒损失函数,实验证明使用鲁棒后悔损失训练决策焦点学习方法能够改善测试样本的经验后悔并保持计算时间等效。
Oct, 2023
Decision-Focused Learning(DFL)是一种新兴的学习范例,用于训练机器学习模型来预测不完整优化问题的缺失参数。DFL通过集成预测和优化任务,在端到端系统中训练机器学习模型,从而更好地匹配训练和测试目标。然而,我们对这些模型在对抗性攻击下的性能知之甚少。我们采用了十种独特的DFL方法,并在针对预测优化问题设定的两种明确攻击下进行性能基准测试。我们的研究提出了假设,即模型的鲁棒性与其能否找到导致最佳决策且不偏离基本真实标签的预测高度相关。此外,我们深入洞察了如何针对违反此条件的模型,并展示了这些模型如何根据训练周期结束时实现的最优性而有不同的响应。
Nov, 2023
决策导向学习是上下文优化的一种有前景的发展,而我们提出了一个双重隐式层模型,用于训练预测模型以实现对不确定凸二次约束二次规划问题中健壮决策损失的训练。该模型是决策导向学习不确定凸QCQPs的有效正则化工具。
Dec, 2023
在决策问题中,通过学习预测模型与优化相结合可以提供更好的决策,本文提出了一种全局代理损失函数ICLN,通过Input Convex Neural Networks学习任务损失,并在保持全局结构的同时适用于通用DFL框架。
Mar, 2024