Apr, 2023

CGDTest: 一种用于测试神经网络的约束梯度下降算法

HTML
PDF
TL;DR该研究提出了一种名为Constrained Gradient Descent（CGD）方法的新的深度神经网络（DNN）测试算法，并开发了实现称为CGDTest，旨在揭示DNN中的安全性和健壮性问题，如对立攻击健壮性和偏差。该方法不仅可以为测试DNN的Lp ball-based对抗健壮性指定逻辑约束，还可以包括假面和流对抗约束以及在NLP领域的对抗性鲁棒性。在视觉和NLP领域进行广泛实验，结果表明该方法在对抗健壮性测试方面优于现有最先进的测试工具，PAR2分数的改进在某些情况下超过1500％，并且在表达能力、可扩展性和通用性方面均具有优势。
发现论文，激发创造
  • 用于神经网络优化的深度Frank-Wolfe算法

    本研究提出了基于深度神经网络中复合近端框架的优化方法，该方法利用了深度神经网络的组合性质，并通过设计利用强大的凸优化算法，对于解决高维、非凸和非光滑优化问题提供了一种新的方法。

    Nov, 2018

  • CNN-Cert: 一种有效的卷积神经网络稳健性认证框架

    提出了一个可用于卷积神经网络的一般且高效的框架CNN-Cert以证明鲁棒性, 它通过利用卷积层的特殊结构比现有算法快17倍到11倍，并且在获得相似或更好的证明上限和速度方面超越了最先进的算法。

    Nov, 2018

  • 早停梯度下降在过度参数化的神经网络上被证明对标签噪声具有鲁棒性

    本文研究神经网络的训练，证明使用梯度下降法可以在一定的噪声或污染下保证稳健性，避免过拟合。

    Mar, 2019

  • 梯度下降法在实用规模的可推广深度神经网络中寻找全局最小值

    我们在本文中理论上证明了，在实践中经常遇到的大小的非线性深度神经网络的所有层的非凸优化中，梯度下降法可以找到全局最小值。我们的理论仅需要实际过度参数化的程度，而不需要以前的理论。此外，我们证明了网络的大小呈线性增长是最优的速率，除非是对数因子。此外，训练保证的深度神经网络显示出在自然数据集中很好地泛化到未见过的测试样本，但不包括随机数据集。

    Aug, 2019

  • 快速优于免费：再探对抗训练

    通过使用快速梯度符号方法（FGSM）来作为对抗样本的构造方法，使得对抗训练的代价不比标准训练更高，而且FGSM对抗训练与PGD对抗训练效果相当。最后，我们还研究了FGSM对抗训练的“灾难性过拟合”失败模式。

    Jan, 2020

  • PDPGD: 原始-对偶近端梯度下降对抗性攻击

    研究了基于优化问题的对抗攻击，使用双重变量来最小化对抗性噪声与规则化惩罚，针对非光滑$p$-范数进行极值点下降攻击，实验表明，比当前最先进的攻击方法在MNIST、CIFAR-10和受限制的ImageNet数据集上都优异表现。

    Jun, 2021

  • 稀疏性双赢：更高效的训练带来更好的鲁棒泛化

    本文提出两种新颖的在对抗训练期间注入适当稀疏形式的方法，即：通过利用最近的彩票假设的结果识别早期训练中出现的关键稀疏子网络来实现静态稀疏，以及通过在训练期间使稀疏子网络自适应调整其连接模式（同时保持相同的稀疏比率）来实现动态稀疏，并发现这两种新方法都可以显著缩减稳健泛化差距和减轻过度拟合，同时大大减少训练和推理的FLOPs，实验证明此方法在各种数据集上有着显著作用，包括CIFAR-10/100和Tiny-ImageNet。

    Feb, 2022

  • 半隐式混合梯度方法及其在对抗鲁棒性中的应用

    本论文提出了一种基于半隐式杂交梯度法的对抗学习算法，能够显著提高收敛速度和稳健性，并证明其在解决非凸非凹极小极大问题上的收敛率优于动态对抗训练算法和You Only Propagate Once算法。

    Feb, 2022

  • 约束引导梯度下降：不等式约束指导下的训练

    本研究提出了约束引导梯度下降 (CGGD) 框架，使得域知识可以注入到神经网络的训练过程中，其中域知识被假定为一组硬不等式约束的连词，相比于其他神经符号方法，该方法使得模型收敛并满足数据集上的任何不等式约束，同时不需要事先将约束转换为某个特定项添加到学习目标中。经实验证明，与先前的工作相比，CGGD 使得训练不再依赖网络的初始化，并提高了所有数据的约束可满足性。

    Jun, 2022

  • DeepZero：扩展零阶优化以提升深度模型训练

    DeepZero是一个基于Zeroth-order optimization的深度学习框架，通过三个主要创新使得ZO优化可用于深度神经网络的训练，同时实现了与一阶优化相当的性能，其优点包括坐标梯度估计（CGE）在训练准确性和计算效率上的优势，以及利用模型剪枝方法扩展稀疏DL先验信息的ZO训练协议，并通过特征重用和前向并行化方法提高ZO训练的实际实施。

    Oct, 2023