Jun, 2024

一个新的分支界限修剪框架用于 $l_0$ 正则化问题

PDF
TL;DR通过分支定界（Branch-and-Bound）算法解决涉及 $\ell_0$ 正则化的学习问题，并提出一种用于一类通用的 $\ell_0$ 正则化问题的修剪测试的替代方法，该方法可以同时评估多个区域，在标准分支定界实现中具有可忽略的计算开销，并通过数值模拟表明该修剪策略可以将分支定界过程的求解时间从机器学习应用中常见的典型问题的数量级上提升。
发现论文，激发创造
  • 大规模稀疏回归：基于一阶优化的分支定界

    本文提出了一种新的混合整数规划框架，结合非线性分支定界和坐标下降方法，用于计算最小二乘回归中的 $l_{0} l_{2}$ 惩罚，证明了该框架不仅比现有方法快很多，而且可以处理一些统计性较强的示例，并提供了 $L0BnB$ 工具箱的开源实现。

    Apr, 2020

  • 正则化无界贝叶斯优化

    本研究基于贝叶斯优化方法，提出了两种自动调整搜索空间大小的算法，并将它们应用于深度学习中的优化问题，包括超参数调优、神经网络模型训练等，取得了不错的结果。

    Aug, 2015

  • 通过 Lagrangian 分解改进的神经网络验证分支定界算法

    本篇论文提出了基于 Lagrangian Decomposition 的 bounding 算法和一种新的基于 activation 的 branching 策略。这些新方法应用于 BaDNB 框架中，比以前的完整验证系统具有更快的效率和更高的可扩展性。

    Apr, 2021

  • 学习剪枝的改进强化学习算法

    本文提出了基于深度强化学习的分支定界算法，该算法利用离线模仿学习与自主生成数据相结合的优化方法，并且引入了一种优先存储机制来控制二者之间的混合比例，以此提高算法的性能表现。文章在三个公共研究基准上对所提出的算法进行了评估，并与三种经典的启发式方法以及一种先进的模仿学习算法进行了比较。研究结果表明，所提出的算法在性能上表现最佳，并具有不断提高分支定界算法性能的潜力。

    Jan, 2022

  • 参数化分支定界搜索树以学习分支策略

    采用参数化状态来帮助泛化 “学习分支” 方法，该方法可以有效地处理各种 MILP 问题，通过模拟学习框架实现新的输入特征和架构以表示分支决策，从而在准确性和 B&B 树的大小等方面具有显著的优势。

    Feb, 2020

  • 分支定界性能估计编程：一种构建最优优化方法的统一方法学

    我们提出了分支定界性能估计规划（BnB-PEP），该方法能建立凸优化和非凸优化的最优一阶方法，通过采用定制的分支定界算法将找到最优优化方法解决为一个非凸但实际上易于处理的二次约束二次优化问题，通过直接处理非凸性，BnB-PEP 提供了更大的灵活性并消除了先前方法的许多限制，最后我们使用 BnB-PEP 方法找到具有潜在函数结构的证明，从而系统地生成分析收敛证明。

    Mar, 2022

  • 分支定界用于分段线性神经网络验证

    研究了深度学习的形式验证以及提出了一种基于分支定界的族算法，并提出了新型的组合方法，以及新的有效的分支策略，将之用于高维输入上的问题，并提出包含以前发布的测试案例的全面测试数据集和基准测试。

    Sep, 2019

  • 使用分支定界进行非线性神经网络验证

    本文提出了名为 GenBaB 的通用框架，用于进行神经网络中非线性函数的分支界定与验证，并展示了其在验证各种类型的神经网络以及其他非线性计算图上的有效性。

    May, 2024

  • 使用离散优化的稀疏高斯图模型：计算和统计视角

    我们提出了一种稀疏图的学习方法，应用于一个无向高斯图模型的问题，并通过凸混合整数规划框架得到了新的估计器，该估计器在稀疏性精度矩阵的估计与变量选择方面有着优越的性能。

    Jul, 2023

  • 基于学习的分支定界算法求解最大公共子图问题

    本文提出了一种受强化学习启发式的分枝策略，旨在尽早到达树叶以大大减小搜索树的大小，对于解决典型的最大公共子图（MCS）问题的分枝限界算法具有显著的效果优势。

    May, 2019