Aug, 2022

基于界限传播的神经网络验证的通用割平面

PDF
TL;DR本文将界定传播程序推广到允许添加任意切割平面约束，包括涉及松弛整数变量的约束，并将其命名为广义界定传播程序 (GCP-CROWN)，提高了神经网络验证的效率和 GPU 加速，实现了全面解决 Oval 20 基准和优于当今众多基准的状态表现验证工具在 Oval 21 基准上的效果。
发现论文，激发创造
  • 学习整数规划的切割函数生成

    使用分支切割算法解决大规模整数规划问题时，关键步骤之一是选择有效的约束条件（切割平面）来减少最优解搜索空间。该论文扩展了数据驱动选择最佳切割平面生成函数的概念，并探索了使用神经网络进行依赖于实例的切割平面生成函数选择的样本复杂性。

    May, 2024

  • 评估和训练可验证的强鲁棒性神经网络

    本篇研究旨在探究 interval bound propagation 和 CROWN 的关系，并证明线性绑定线是比 IBP 更紧的。进一步提出 CROWN 的放松版本 LBP，它可以用于验证大型网络以获得比 IBP 更低的验证误差。我们还设计了一种新的激活函数 ParamRamp，并在 MNIST，CIFAR-10 和 Tiny-ImageNet 等数据集上进行了广泛实验，取得了领先的验证稳健性结果。

    Apr, 2021

  • 通过机器学习解决一类切割生成线性规划问题

    提出了一种基于机器学习的新框架来近似求解割平面问题，并通过分类方法获得近似的割平面，从而提高分支定界树中添加割平面的候选节点的识别效率。

    Oct, 2023

  • 朝着稳定和高效的可验证鲁棒神经网络训练

    本文提出了一种名为 CROWN-IBP 的新认证敌对训练方法，该方法结合了快速的 IBP 边界传播和基于紧线性松弛的后向传播，能够高效地提供强大的神经网络分类器，并在 MNIST 和 CIFAR-10 数据集上超过以往所有的线性松弛和边界传递认证防御的最佳结果

    Jun, 2019

  • 通过预测选择切平面：基于模仿学习的切割技能培养

    本文提出了一种名为 NeuralCut 的新型神经网络进行割平面选择，该方法基于对专家的模仿学习而设计，能够在 MILPs 的切割选择中实现性能优异的表现，且在验证神经网络时表现出很大潜力。

    Jun, 2022

  • 使用割平面算法学习贝叶斯网络

    提出了一个将贝叶斯网络结构学习问题转化为优化问题，使用整数规划方法进行求解的方法，具体来说，在整数规划算法中添加了割平面的约束，用子整数规划搜索这些割平面来提高该方法性能，以求得最大化对数边际似然（BDe 分数）的贝叶斯网络结构，该方法能够高效地进行准确的贝叶斯网络结构学习。

    Feb, 2012

  • 圆容量不等式的神经分离算法

    设计了一种基于图嵌入的知识学习方法，将其应用于割平面算法来解决带约束车辆路径问题，与传统求解器相比，一定规模上有更好的上界。

    Jun, 2023

  • 用 GPU 加速的机器学习模型验证在电力系统中的应用

    本文介绍了用于检验大规模机器学习模型的计算工具，重点解决了其应用到电力系统问题时出现的困难；作者提出了一种方法可同时验证多个验证问题，并使用双重化程序将线性等式和不等式约束编码到检验问题中。

    Jun, 2023

  • 树搜索配置的样本复杂度：割平面与更多

    该研究利用样本证明了学习高性能的割平面选择策略对于速度优化和优化解的寻求非常重要，同时研究了复杂的割选择策略和树搜索组件的学习方法。

    Jun, 2021

  • 使用分支定界进行非线性神经网络验证

    本文提出了名为 GenBaB 的通用框架，用于进行神经网络中非线性函数的分支界定与验证，并展示了其在验证各种类型的神经网络以及其他非线性计算图上的有效性。

    May, 2024