Oct, 2018

通过最大线性区域的优化证明 ReLU 网络的鲁棒性

PDF
TL;DR研究了神经网络分类器在安全关键系统中的应用，提出了一种对 ReLU 网络的正则化方案，使分类器的鲁棒性得到提升，并在实验中取得了较好的效果。
发现论文，激发创造
  • 针对 ReLU 网络的对抗性样本的鲁棒性证书

    本文提出一种基于深度 ReLU 网络的攻击不可知的稳健性证书，用于多标签分类问题，通过利用 ReLU 网络的分段线性结构，提出了两个距离下界，分别为单纯形证书和决策边界证书，其中单纯形证书具有闭合形式，可微性和计算速度快的特点，并在 MNIST 数据集上验证其理论有效性。

    Feb, 2019

  • 网络中输入分布和线性区域之间相互作用的演变

    对于基于 ReLU 的深度神经网络，我们通过计算线性凸区域的数量，证明了任何一维输入都需要至少一定数量的神经元来表达。我们还发现对于相同的网络，复杂的输入会限制其表达线性区域的能力。此外，我们揭示了 ReLU 网络在训练过程中决策边界的迭代优化过程。我们希望本研究能够激发网络优化的努力，并有助于深度网络行为的探索和分析。

    Oct, 2023

  • 通过 ReLU 神经网络的最小最大表示实现严密的认证鲁棒性

    本文提供了一种基于概率测度优化的方法，通过将问题抬升到无限维度优化来获得 ReLU 神经网络的紧凑可靠性证明，并证明在一定条件下，原始非凸问题的解可以由离散分布生成，从而可以完全解决模型的最优攻击问题。

    Oct, 2023

  • 深度整流网络线性区域的经验界限

    通过使用基于概率推断和特征的经验阈值来近似神经网络的线性区域数量，提供了一种可快速获得深度神经网络线性区域数量之近似值的方法。

    Oct, 2018

  • 卷积神经网络的线性区域数量

    本文研究深度神经网络的表达能力，用 ReLU 卷积神经网络的线性区域数量来量化表达能力，并给出一层 ReLU 卷积神经网络的线性区域数量的上下界以及多层 ReLU 卷积神经网络的最大和平均线性区域数量，结果表明深度卷积神经网络比浅层卷积神经网络和全连接神经网络更具表达能力。

    Jun, 2020

  • ReLU 网络的随机无梯度攻击

    本文提出了一种基于直接优化的攻击方案，针对 ReLU 网络进行优化，相比 Carlini-Wagner 攻击方案，在 18 个实验中除了一个实验外均有提升，并提高了最多 9％。

    Nov, 2018

  • 为什么 ReLU 网络在训练数据远离时会产生高置信度的预测，以及如何减轻这个问题

    通过提出类似于对抗训练的新型鲁棒性优化技术，使得神经网络分类器可以在训练数据附近做出高置信度的预测，同时在远离训练数据的区域内降低置信度。

    Dec, 2018

  • 面向 Relu 网络的快速计算认证鲁棒性

    本文提供了两种计算和证明最小失真非平凡下界的算法 Fast-Lin 和 Fast-Lip，可以用于解决具有 ReLU 结构的神经网络的鲁棒性问题。相比于现有的解决方法，这两种方法计算速度更快，下界的质量更高，同时作者还证明了除非 NP=P，否则无法用多项式时间算法求解最小的 l1 失真。

    Apr, 2018

  • 通过凸外部对抗多面体证明抵御对抗样本的有效性

    本文提出了一种广义线性可证明鲁棒性方法来学习深度 ReLU 分类器，通过考虑凸外似集合，去开发基于线性规划的强健优化程序，提出了一种类似于反向传播网络的方法，以很高效的方式产生能够保证鲁棒性损失的优化方法，并展示了该方法在多项任务中的应用。

    Nov, 2017

  • 线性可分数据上的 ReLU 网络学习：算法，最优性和泛化

    本文提出了一种新的随机梯度下降算法，利用随机噪声扰动，无需任何假设于数据分布、网络大小和训练集大小，就能够证明地达到单隐藏层 ReLU 网络的全局最优性，同时提出了一些一般的泛化保证，此外，数值测试结果也验证了算法和理论的实用性。

    Aug, 2018