Jun, 2023

基于提升算法的线性阈值函数 BDDs 构建及其在神经网络验证中的应用

PDF
TL;DR该论文提出了一种将神经网络转化为特殊形式的二元决策图 (BDD) 的方法，并提出了结合该方法的新提升算法，以及用于计算最终布尔表达式的方法。
发现论文，激发创造
  • 关于二元神经网络可计算性表示的研究

    本文研究了如何将一个二进制神经网络的决策函数编译成可行的表示形式，如有序二进制决策图和命题决策图，并讨论了使用这些表示形式来验证神经网络的鲁棒性和计算期望鲁棒性的方法。此外，本文还提出了一种基于伪多项式时间算法编译单个神经元的高效方法，并在手写数字数据集中展示了两个神经网络的高准确度但鲁棒性不同的案例研究。最后，实验证明使用命题决策图可以获得神经网络的紧凑表示形式。

    Apr, 2020

  • 分支定界用于分段线性神经网络验证

    研究了深度学习的形式验证以及提出了一种基于分支定界的族算法，并提出了新型的组合方法，以及新的有效的分支策略，将之用于高维输入上的问题，并提出包含以前发布的测试案例的全面测试数据集和基准测试。

    Sep, 2019

  • 验证二值化深度神经网络属性

    本研究提出一种使用布尔可满足性对深度神经网络的属性进行验证的严格方法，并构建了一种创建二元化神经网络布尔公式的表示方法来验证其强健性，是深度神经网络验证方面的一项重要贡献。

    Sep, 2017

  • 混合凸组合优化问题下的深度学习

    本研究提出了一种递归小批量算法，通过离散优化目标找到满足训练集目标的硬阈值激活神经网络，可以提高分类精度，适用于大规模集成系统。

    Oct, 2017

  • 具有线性阈值激活函数的神经网络：结构与算法

    本文研究了使用线性阈值激活函数的神经网络，探究了这种类型的函数可以被表示的范围，证明了用两层隐藏层可以表示任何在这个范围内的函数。同时提出了一种算法，用于解决这种类型神经网络的经验风险最小化问题，可以在多项式时间内进行。基于这些研究发现，我们提出了一种新型神经网络 —— 快捷线性阈值网络。

    Nov, 2021

  • 通过信息瓶颈理解二元神经网络的学习动态

    本文从信息瓶颈原理的角度分析了二值神经网络的训练动态，发现其不同于深度神经网络，同时发现二值神经网络会在表示压缩和损失拟合之间同时进行，从而发现其训练动态与激活函数无关

    Jun, 2020

  • 贝叶斯神经网络中概率鲁棒性的严格验证

    我们介绍了两种算法，用于计算贝叶斯神经网络（BNNs）的概率鲁棒性的严格保证。

    Jan, 2024

  • 深度为二和三的阈值电路的超线性门和超二次线性电缆下界

    该论文研究了神经计算的权限，并证明了阈值电路的下限

    Nov, 2015

  • $\partial\mathbb {B}$ 网格：通过梯度下降学习离散函数

    该研究介绍了一种利用梯度下降学习离散布尔值函数的可微分神经网络，该网络具有不可微分的硬网络和可微分的软网络，可以通过后向传播算法进行训练。在实验中，该网络展现了可比较的性能，同时由于使用了 1 比特权重的方式，紧凑并且具有解释性。

    May, 2023

  • 具有阈值激活函数的神经网络全局优化训练

    本文研究了具有阈值激活函数的神经网络的权重衰减正则化训练问题，发现在网络的最后一个隐藏层宽度超过一定阈值时，这些问题可以被等价地形式化为标准的凸优化问题，类似于 LASSO 方法，并且通过各种数字实验验证理论结果。

    Mar, 2023