Nov, 2018

训练神经网络的强混合整数规划公式

PDF
TL;DR本文提出了一个强大的混合整数编程（MIP）框架，可以用于处理高维分段线性函数，从而建立与训练好的神经网络相匹配的数学模型，并通过这些数学模型来解决图像分类的鲁棒性验证和机器学习模型的决策问题。我们的方法比文献中其他方法更加有效，并且在图像分类网络的验证任务中取得了优异的结果。
发现论文，激发创造
  • 用混合整数规划评估神经网络的鲁棒性

    本文提出了一种基于混合整数规划的验证方法，对分段线性神经网络进行验证，以评估其对于对抗样本的脆弱性；通过紧凑的非线性公式和新颖的预处理算法实现了两到三个数量级的计算速度提升，并成功确定了 MNIST 分类器对于一定幅值下的对抗精度，相较于同类算法提供更好的证明。

    Nov, 2017

  • 深度学习增强的整数混合优化：学习降低模型维度

    通过深度学习来解决混合整数规划（MIP）模型中固有的计算复杂性，并比较前馈神经网络（ANN）和卷积神经网络（CNN）在逼近 MIP 问题中的活动维度的效果，利用多标签分类来纳入多个活动维度，通过贝叶斯优化进行超参数调优以提升模型性能，并应用于基于流量的设施位置分配混合整数线性规划（MILP）问题，描述个性化医疗供应链中的长期投资规划和中期战略规划。

    Jan, 2024

  • 非凸分段线性函数：先进公式与简单建模工具

    该论文提出了新的混合整数规划（MIP）公式，包括基于几何方法的单变量函数的新公式和基于组合方法的双变量函数的新公式，这些公式在计算性能方面表现出显着的改进，并通过高级界面实现了 PiecewiseLinearOpt，这是 Julia 中 JuMP 建模语言的扩展。

    Jul, 2017

  • 前馈神经网络作为混合整数规划

    通过研究深度神经网络中的整流线性单元，将训练好的整流线性单元神经元建模为混合整数规划，并将混合整数规划应用于训练神经网络，本研究重点关注混合整数规划技术与各种神经网络架构之间的交互作用，包括二值深度神经网络和二值化深度神经网络，并通过实验评估提出的方法的性能，以手写数字分类模型为例，深入探讨混合整数规划在增强神经网络训练过程中的有效性。

    Feb, 2024

  • 混合整数规划作为一层

    该研究介绍了一种新的决策集中学习方法，可以优化预测模型，支持将问题编码为混合整数线性规划，并使用割平面算法求解。实验结果表明，该方法在多个实际领域中的性能优于现有方法。

    Jul, 2019

  • 利用神经网络解决混合整数规划问题

    本文介绍了一种将机器学习与混合整数规划相结合的方法，通过构建两个神经网络组件 Neural Diving 和 Neural Branching 来生成高质量的联合变量分配和绑定目标值差异，在实验中，该方法比传统方法得到了更好的结果。

    Dec, 2020

  • 深度神经网络作为 0-1 混合整数线性规划问题：可行性研究

    本文旨在探讨深度神经网络以及与之相关的 0-1 混合整数线性规划模型，并描述了一种有效的边界紧缩技术，旨在促进其解决方案。文中还介绍了 0-1 混合整数线性规划模型在特征可视化和对抗样本构建中的可能应用，并针对手写数字识别这一已知的测试用例，报告了关于使用最先进的混合整数线性规划求解器在小规模 DNN 上的计算性能的初步结果。

    Dec, 2017

  • 基于解预测加速混合整数规划原始解求解

    本文提出了基于三分图的方法表示 MIP 问题，该问题可以通过图卷积网络结合机器学习方法来预测二进制变量的解，以生成一种局部分支类型切割，从而提高求解 MIP 问题的性能。

    Jun, 2019

  • 当深度学习遇上多面体理论：综述

    本篇论文调查了如何通过多面体理论以及线性规划技术对神经网络进行训练、验证和缩小规模，并概述了深度学习和神经网络中使用的关键词，如 ReLU（线性修正单元）等。

    Apr, 2023

  • 基于数据驱动的框架用于指导组合优化求解器 (MIP-GNN)

    提出了一种称作 MIP-GNN 的混合整数规划改进方法，利用图神经网络模型预测混合整数线性规划的变量偏差，并将其集成到一个先进的 MIP 求解器中，针对二进制 MILP 的节点选择和启发式方面展示了与默认设置相比的显著改进。

    May, 2022