Dec, 2017

深度神经网络作为 0-1 混合整数线性规划问题：可行性研究

PDF
TL;DR本文旨在探讨深度神经网络以及与之相关的 0-1 混合整数线性规划模型，并描述了一种有效的边界紧缩技术，旨在促进其解决方案。文中还介绍了 0-1 混合整数线性规划模型在特征可视化和对抗样本构建中的可能应用，并针对手写数字识别这一已知的测试用例，报告了关于使用最先进的混合整数线性规划求解器在小规模 DNN 上的计算性能的初步结果。
deep neural networksrelu0-1 mixed integer linear programbound-tightening techniquehand-written digit recognition
发现论文，激发创造
  • 前馈神经网络作为混合整数规划

    通过研究深度神经网络中的整流线性单元，将训练好的整流线性单元神经元建模为混合整数规划，并将混合整数规划应用于训练神经网络，本研究重点关注混合整数规划技术与各种神经网络架构之间的交互作用，包括二值深度神经网络和二值化深度神经网络，并通过实验评估提出的方法的性能，以手写数字分类模型为例，深入探讨混合整数规划在增强神经网络训练过程中的有效性。

    Feb, 2024

  • 当深度学习遇上多面体理论：综述

    本篇论文调查了如何通过多面体理论以及线性规划技术对神经网络进行训练、验证和缩小规模，并概述了深度学习和神经网络中使用的关键词，如 ReLU（线性修正单元）等。

    Apr, 2023

  • 训练神经网络的强混合整数规划公式

    本文提出了一个强大的混合整数编程（MIP）框架，可以用于处理高维分段线性函数，从而建立与训练好的神经网络相匹配的数学模型，并通过这些数学模型来解决图像分类的鲁棒性验证和机器学习模型的决策问题。我们的方法比文献中其他方法更加有效，并且在图像分类网络的验证任务中取得了优异的结果。

    Nov, 2018

  • 基于优化紧束的 ReLU 网络的计算权衡

    利用混合整数线性规划（MILP）模型来表示带有修正线性单元激活函数的神经网络的使用已在过去十年中越来越普遍。本研究探讨了这些边界的紧密性与求解结果 MILP 模型的计算付出之间的权衡，并提供了实施这些模型的指南，基于网络结构、正则化和四舍五入的影响。

    Dec, 2023

  • 深度学习增强的整数混合优化：学习降低模型维度

    通过深度学习来解决混合整数规划（MIP）模型中固有的计算复杂性，并比较前馈神经网络（ANN）和卷积神经网络（CNN）在逼近 MIP 问题中的活动维度的效果，利用多标签分类来纳入多个活动维度，通过贝叶斯优化进行超参数调优以提升模型性能，并应用于基于流量的设施位置分配混合整数线性规划（MILP）问题，描述个性化医疗供应链中的长期投资规划和中期战略规划。

    Jan, 2024

  • 使用修正线性单元理解深度神经网络

    本文研究使用带有 ReLU 的深度神经网络能够代表的函数家族，提供了一个训练一个 ReLU 深度神经网络的一种算法，同时提高了在将 ReLU 神经网络函数逼近为浅层 ReLU 网络时已知下限的上界，并证明了这些间隙定理。

    Nov, 2016

  • 用混合整数规划评估神经网络的鲁棒性

    本文提出了一种基于混合整数规划的验证方法，对分段线性神经网络进行验证，以评估其对于对抗样本的脆弱性；通过紧凑的非线性公式和新颖的预处理算法实现了两到三个数量级的计算速度提升，并成功确定了 MNIST 分类器对于一定幅值下的对抗精度，相较于同类算法提供更好的证明。

    Nov, 2017

  • ReLU 深度神经网络与线性有限元

    研究使用 ReLU 函数作为激活函数的深度神经网络和连续分段线性函数的关系，特别是从单纯形线性有限元法（FEM）得到的连续分段线性函数。在此基础上，我们证明了使用 ReLU DNN 表示任何线性有限元函数需要至少两个隐藏层，而使用 ReLU DNN 表示任何 CPWL 函数需要至少两个隐藏层。最后演示了使用 ReLU DNN 求解偏微分方程组的结果。

    Jul, 2018

  • 深度神经网络无损压缩

    本文介绍了一种名为 LEO 的算法，该算法利用混合整数线性规划技术在线性行为上识别修正线性单元，以便使用 L1 规则进行训练，从而实现在有限计算资源下实现神经网络无损压缩。

    Jan, 2020

  • 混合整数规划作为一层

    该研究介绍了一种新的决策集中学习方法，可以优化预测模型，支持将问题编码为混合整数线性规划，并使用割平面算法求解。实验结果表明，该方法在多个实际领域中的性能优于现有方法。

    Jul, 2019